ページの先頭です


ページ内移動用のリンクです

  1. ホーム
  2. IIJの技術
  3. セキュリティ・技術レポート
  4. Internet Infrastructure Review(IIR)
  5. Vol.53
  6. 2. フォーカス・リサーチ(1)Verifiable CredentialとBBS+署名

Internet Infrastructure Review(IIR)Vol.53
2021年12月24日発行
RSS

目次

2. フォーカス・リサーチ(1)

マルチテナント環境におけるオーバーレイネットワークの運用現場
~ IIJ GIOインフラストラクチャーP2 Gen.2におけるチャレンジ

2.1 IIJの新世代IaaS「P2 Gen.2」とは

IIJは、IIJ GIOブランドの元で開発・提供してきたパブリック型IaaSとプライベート型IaaSを完全統合し、それぞれの特徴を活かした新しいIaaSを「IIJ GIOインフラストラクチャーP2Gen.2」(以下、P2 Gen.2)として2021年10月1日にリリースしました。P2 Gen.2はVMware vSphereベースのプライベートクラウドの特徴を活かしながら、パブリッククラウドのメリットを最大限享受いただけるようにデザインした新世代のIaaSです。

P2 Gen.2はお客様に継続してご利用いただけるよう、次世代を見越したアーキテクチャを採用しています。本稿ではネットワークにフォーカスしP2 Gen.2サービス開発・運用現場の理想と現実を紹介します。

我々は「10年後も継続してご利用いただけるサービス基盤」を目指しP2 Gen.2を開発・運用しています。変化の激しい昨今の状況で10年後を予測することはできません。だた、サービスとしてはお客様が望む限りはずっと使い続けていただけるものであるべし、という思いがここに込められています。DX(Digital transformation)のかけ声の下、クラウドを前提にしたシステム新規開発が増えています。ですが、DXを下支えするために既存のシステムを維持・改修することもエンタープライズITの現場では重要なミッションです。P2 Gen.2はそのような課題にお応えするため、維持し続けられる、オンプレミスやプライベートクラウドだけでなく、パブリッククラウドからも移行しやすいクラウド化の第三の選択肢として開発しました。

P2 Gen.2はフレキシブルサーバリソースという形でお客様にリソースをお使いいただくIaaSです。リソースプールは仮想化され、お客様はリソースプール内のシステム運用にフォーカスいただき、その下のレイヤーの機能はすべてIIJが運用します。VMのインスタンス単位で利用するIaaSでは、VMのサイズはクラウドサービス事業者が指定したインスタンスモデルに合わせていく形となりますが、このサービスでは契約したリソースプールの中で自由にVMを作成できます。つまり、お客様の環境で動いていたマシンスペックをそのまま移行することができます。もちろん、この形式であればイメージを持ち込んだり、V2V、P2Vを実施することでそのまま既存の環境のVMを移行することも可能です。

VMを展開するためのイメージ提供の仕組みや、バックアップ、ネットワーク、移行の機能、ファイル格納領域としてのファイルサーバなども提供される上、ハイパーバイザや、サーバ、ストレージ、ネットワークなどのハードウェアは抽象化されお客様に見える形ですので、意識する必要はありません。これにより、従来のIIJ GIOで提供していたvSphereベースのサービスである仮想化プラットフォームVWシリーズの大きな課題となっていた、ESXiをお客様にそのままお渡しすることによるハイパーバイザやハードウェア更改時の負担をなくすことができます。

VMwareが提供するサービスプロバイダ向け製品であるVMware Cloud Director(vCD)を採用し、ハイパーバイザ(vSphere)層を利用者から隠蔽することで、vSphere並みに柔軟なリソース制御権限をお渡ししつつ、ハイパーバイザやハードウェアのライフサイクル管理をサービスプロバイダとしてIIJが受け持つという、新しい共同責任モデルを定義することでハイパーバイザのネットワークをIIJが管理・運用できるようになりました。ハイパーバイザ層のネットワークを効率的に運用するため、vSphereと統合的なインテグレーションが行えるVMware NSX-T DataCenter(以下、NSX-T)を採用し、IaaSのネットワークを大幅に改善させました。P2 Gen.2では、レイヤー3で構成したIPファブリックのアンダーレイネットワーク上にNSX-Tでオーバーレイネットワークを構成し、テナントごとのネットワークを完全に分割しVPC(Virtual Private Cloud)として提供できるよう設計しています。従来のIIJ GIOで培った大規模サーバプールの運用ナレッジと組み合わせることで、物理的なコンピューティングリソース(CPU、メモリ、ストレージ)の配置に縛られることなく、利用者にリソースを割り当てることを可能にしています(図-1)。

図-1 フレキシブルサーバリソース 構成イメージ

2.2 SDN技術を活用したオーバーレイネットワーク

オーバーレイネットワークは目新しいものではありません。ネットワーク仮想化の手法としてVLAN(Virtual LAN)と共に古くからあるものです。以前はプロトコルの仕様・制限や運用面からPoint-to-Pointの接続で利用されることの多かったオーバーレイネットワークですが、SDN(Software DefinedNetwork)技術の進化により大規模なネットワークでも活用できるようになりました。オーバーレイネットワークは物理ネットワーク上に構成される仮想ネットワークです。L2TPv3、VXLAN、Geneveなどのカプセル化を行うプロトコルによって仮想的にL2ネットワークを構成します。SDNはソフトウェアによりネットワークを制御する技術であり、デバイス間を制御するコントロールプレーンと、実際のフレーム/パケットを転送するデータプレーンで構成します。デバイス間をソフトウェアで制御することで、集中的に構成を管理することが可能となります。これにより各デバイスに対して個別に設定変更を行うのではなく、ネットワークのあるべき姿を定義すればそれに従い機器が自動的に設定されるという環境が実現でき、大規模なネットワークで要件に合わせて迅速に構成変更することができます。そうすることで大規模なネットワークで大量のセグメントを利用する場合に課題となるIEEE802.1q VLANの制限である4096を超えたネットワーク分割や、仮想化されたネットワーク内でのNorth-Southトラフィック(端末とネットワークの中心部間の通信)とEast-Westトラフィック(端末間の通信)を効率的に制御することができます(図-2)。

図-2 大規模環境下でのオーバーレイネットワーク

2.3 VMware NSX-Tによるオーバーレイネットワークのメリット

オーバーレイネットワークによるネットワーク仮想化は、サーバ仮想化技術と共にP2 Gen.2のインフラストラクチャーを支えるコアテクノロジーの1つとなっています。ハードウェア層で構成するアンダーレイのネットワークと分割した形でサービスのネットワークを構成することができます。P2 Gen.2のIaaS層はNSX-Tによるネットワーク仮想化を行うことで、物理層と疎結合なフレキシブルなネットワーク構成となります。また、ミニマムスタートからハイパースケール、という形で拡張を考える構成を取る場合、物理ネットワーク機器のスペックは拡張を見込んで設計・サイジングをするなど複雑なネットワークとなりがちなのですが、拡張をオーバーレイで制御できることで運用面の大きなメリットが得られます。

複数のデータセンターで構成されるマルチサイトであることもIaaSとして求められる要件です。物理的に離れた複数のサイトでインフラストラクチャーを構成することで災害対策を実現させたり、大規模なファシリティを確保せずにコンピューティングリソースを確保することができます。これによりサイト間のネットワークを仮想化し、オーバーレイネットワークとすることでロケーションに依存しない形でネットワークが構成できます。物理的に離れた環境下では、ネットワークの遅延や、拠点間の回線帯域など、サイト内に閉じた構成より考慮すべき点が多くなり設計・運用の難易度は上がりますが、適切なリソース監視・モニタリングを行いそのデータを元に制御することで、フレキシブルなネットワークが構成できます。

このようなメリットがありますが、ネットワークの仮想化はまだまだ一般的でないのも現状です。従来の静的に設定されることを前提としたネットワークでは、ネットワーク仮想化の恩恵を受けずにシステムを維持・運用し続けることはできていました。ただ、昨今、変化が激しく、かつ読めない要件に柔軟、迅速に対応することがITインフラ全体に求められています。そのような環境下ではネットワーク仮想化の重要性は増していくと考えられます。

複数のお客様を収容するためのマルチテナントであることがIaaSに求められる要件です。テナント間を分割し機能を提供、セキュリティを確保しつつ定められたサービスレベルを維持するためにもソフトウェアで集中制御、自動化を行う必要があリます。ネットワーク仮想化を行うことでIaaSを構成する他のコンポーネントやモニタリングシステムを連携させやすくなり、各々のテナントが各々のシステム要件に合わせて運用されるマルチテナント環境を適切に制御することができます。NSX-TはVRF(Virtual Routing and Forwarding)の機能も実装されており、VRFを活用することで設備効率性を高めることが可能です。マルチテナントの環境下ではテナント間でルーティングドメインを分割させる必要があり、リソースの制約となっていました。VRFを活用することで集約率を向上させることができます。

また、制御するインタフェースはNSX-Tの管理コンポーネントであるNSX Managerに統一、集中制御されるのでAPIベースのオペレーション・自動化が行いやすくなります。これによりサービスのバックエンドアプリケーション間の連携に関わる開発工数削減にもつながります。

オーバレイネットワークをIaaSとして構成する際にはネットワークの出口が必要です。NSX-TもNSX-Tのドメイン(制御下)外とNSX-Tのカプセル化プロトコルであるGeneveで通信を行うことはできず、NSX Edgeと呼ばれるコンポーネントでVLANに変換し外部と通信する必要があります。従来のIIJ GIOでは外部との接続が完全に自動化できておらず、移行時に利用者で完結する形でのネットワーク構成変更が行えないことが大きな課題となっていました。P2 Gen.2ではIIJプライベートバックボーンサービスとの接続においては経路設定が自動化され、改善することができました。外部と接続するネットワークにおいてもSDN技術を活用することで良い形にすることができますが、現状では従来の制約に大きく縛られる形で構成しなければなりません。NSX-Tは仮想化を行わずにサーバに直接インストールするベアメタル構成でNSX Edgeも構成でき、性能面では申し分ありませんがマルチテナント構成を考慮するとまだ不十分です。また、特に外部接続部分ではソフトウェアのアップグレード時に一定のダウンタイムを伴うなど、多くの課題があります。このように、あるべき姿を目指して更に改善が必要な箇所はまだ残されている状況ですが、これらの解決に向け日々、努力を続けています。

2.4 運用の課題とその解決方法

NSX-Tを採用したSDNによるオーバーレイネットワークはNSX-Tが持つNFV(Network Function Virtualization)と共に、2021年10月1日のリリースに先立ち、2020年よりデータセンター内の一部機能に小規模に適用するフェーズから運用を開始しました。その中でも数々の課題が明らかになっており、日々、改善を続けながら運用を行っています。その現場での気づきや解決方法を紹介します。

SDNによるオーバーレイネットワークを実現するためには物理層(アンダーレイ)とIaaS層(オーバーレイ、論理層)の二面構成とするため従来のネットワークより複雑な構成となります。また、NSX-TはvSphereの運用に精通することで機能を最大限活用できるアーキテクチャとなっているため、技術者にはネットワークだけでなく、サーバ、ハイパーバイザ、仮想化の技術も求められます。従来のネットワークエンジニア、サーバエンジニアといった役割のような特定領域に特化した技術でなく、インフラストラクチャーを構成するための技術スタック全般に習熟する必要があります。小規模なチームで運用を開始しましたが、VMwareのテクノロジーに精通したメンバーと、大規模なサービス基盤運用経験を持ったメンバーでチームを編成し、チームとして継続した開発・運用できる体制を構築しました。得意領域が異なる技術者がチームとして自律的、かつ協力しながら活動するためには、DevOpsの思想の元にサービス・プロダクトをあるべき姿に、より良い形となるよう努力し続けることが最も重要です。

P2 Gen.2ではあるべき姿を実現させるため基盤制御を一から再検討し、運用効率化、自動化に最大限取り組みました。DevOpsの思想でGitベースのCI/CDパイプラインを構築し、技術者は環境を直接操作せずにインフラの運用・構成変更を実施するポリシーとし、VMだけでなく、IaaSを構成する要素の大半を制御しています(図-3)。

図-3 IaaSの構成コンポーネントをGitで管理

サーバ仮想化のデファクトスタンダードであるVMware製品群を制御するナレッジやソフトウェアは世の中に多くありますが、SDDC(Software Defined Datacenter)としてマルチテナントのインフラストラクチャー全体を制御するには不十分であり、一部のツール、ライブラリはスクラッチで開発し運用を行っています。

この取り組みにより単なる運用、オペレーションを実施するだけでなくSRE(Site Reliability Engineering)として基盤を実装する下地作りを行いました。

このようにインフラ運用でアジャイルの価値観、メソッドを意識することで固定化されがちなインフラ運用を俊敏かつ柔軟に実施することができますが、アジャイルと相反するファシリティ運用との関わりは強く意識する必要があります。物理機器の調達には一定の納期を伴いますし、データセンターに物理機器をセットアップすることを完全にソフトウェア制御することは不可能です。何らかの人手を伴うことでファシリティが構成されるため、そのリードタイムがボトルネックとならないようにすることが重要です。リソースの在庫を潤沢に確保すればその課題は解消できますが、一方でリソース全体の稼働率が低下し非効率となってしまいます。また、クラウドサービスにおいて在庫切れは許容されません。そこでリソースマネジメントとモニタリング、需要予測が必要不可欠となります。モニタリングと需要予測はオーバーレイだけで行うのでなく、アンダーレイのサーバ、ネットワーク機器、ストレージなど様々なデータソースを集約し可視化できるようにする必要があります。2021年10月1日のリリース以降、実際の利用状況をデータとして蓄積し分析することで、需要予測からジャストインタイムで在庫の投入ができるように活動を行っています。

2.5 今後の展望

P2 Gen.2はまだ最低限の機能であり、今後もお客様のニーズに合わせた形で進化させていくことを考えています。クラウド環境を前提としたITシステムの活用、つまり、クラウドネイティブな考え方でコンピューティングリソースを活用することが一般化され、より俊敏なデジタル基盤が求められています。まずはお客様に使い続けていただくための機能を揃えていくのを最優先としていますが、その先のニーズにもお応えできるようにしていきます。

クラウドへの移行だけでなく、それを手元の近いところに配置して活用するエッジコンピューティング、分散コンピューティングのニーズも高まり始めています。クラウドのコアと分散されたエッジ、そして、その間のネットワークはIIJが「つなぐ」。この一連によって高品質なサービスをお客様により近いところのエッジにお届けできるものとなります。つなぐためのネットワークは従来のものだけでなく、5Gのモバイルネットワークなども活用できます。また、コアとエッジの連携にはVM ベースでワークロード管理するだけでなく、アプリケーションコンテナベースのリソース管理も行う必要があり、アプリケーションをコンテナとして実行できるContainer as a Service(CaaS)としてリソースを提供することもお客様のニーズにお応えする最適解かもしれません(図-4)。

図-4 今後の展望

このためにはネットワークをよりアプリケーションに近づける形でソフトウェア制御を行う必要があります。VMを提供するリソースサービスだけでなく、これは現在のアーキテクチャから更に物理リソースに依存しない形にネットワークを進化させることで実現可能なものだと考えています。ただ、エッジにも展開できるコンパクトな形でリソースを展開できるようにするだけでは難しく、ネットワークも連動した形で柔軟に構成する必要があります。

このようなエッジコンピューティング、分散コンピューティングのアーキテクチャに適したテクノロジーとしてSmart NICに個人的に注目しています。VMwareもArmプロセッサのSmart NIC上にESXiを載せるProject Montereyというプロジェクトを進めており、NSX-TのドメインとしてSmart NICを制御することでネットワークをアプリケーションと同等に制御、展開できるようになるものと期待しています。

この世界を実現すべく、我々が作り上げたテクノロジースタックをデータセンターだけでなく、エッジコンピューティングのプラットフォームとして活用するプロジェクトも進めています。IIJ 白井データセンターキャンパスでマイクロデータセンターを屋外設置し、クラウドとエッジ、MECの領域での実証実験を行うことで、ローカル5Gや、IoTなどといったユースケースと共に、更なる発展を目指しています。そのような形にネットワーク・サービスを進化させていくことで、IIJならではの、IIJにしかできないIT インフラをお客様にお届けできればと考えています。

山本 岳洋

執筆者プロフィール

山本 岳洋(やまもと たけひろ)

IIJ クラウド本部クラウドサービス1部基盤サービスデザイン課長。
クラウド関連サービスの企画・開発・運用を担当。

2. フォーカス・リサーチ(1) マルチテナント環境におけるオーバーレイネットワークの運用現場
~ IIJ GIOインフラストラクチャーP2 Gen.2におけるチャレンジ

ページの終わりです

ページの先頭へ戻る