AI × インターネット Special Interview AIの力で“ブレイクスルー”をサポートする

最初に、直近のAIブームに至る流れを踏まえて、今、どんなことが起こっているのか、お話しいただけますか。

少しさかのぼって順に説明しますと、まず1990年代から2000年代にかけて「機械学習」と呼ばれる技術が発展・浸透していきました。自然言語処理の分野からスタートして、画像・音声認識などに広がり、ある程度使われるようになったところで、技術的な限界が見えてきました。
2012年に「ディープラーニング」を用いたAlexNetという画像認識モデルがブレイクして、ディープラーニングに対する期待値が一気に高まり、自動運転技術やロボットなどに応用されました。その後、10年くらいは（AIを用いることで）解けた問題があった一方、解けない問題もあるという時期が続きました。
そして昨年、ChatGPTをはじめとした「大規模言語モデル」が突如、脚光を浴びて、ディープラーニングの時と同じような大きな変化が生じています。技術的にいうと「基盤モデル」と呼ばれるアプローチが確立して、いろんな問題を今までとは違ったかたちで解けるようになりました。

岡野原さんの著書を拝読したのですが、モデルサイズを大規模化していくと、突然、解けるようになる問題が出てきた、というお話はとても興味深いですね。

そのあたりは、どちらかというと工学的というよりサイエンスに近くて、いろんな人がたくさん実験するなかで、データとモデルと投入計算量を増やしていくと、予想以上に多くの問題が解けることがわかってきました。ただ、そういう結果になった「理由」は、実はわからない部分のほうがはるかに多いのです。

そうなのですね。

学習規模を大きくすれば、より多くのタスクが解けることが明らかになったので、とにかく今は限界まで大きくしてみようということでやっています。

どんどん大規模化していくのですね？

大規模化といってもハードウェアの限界があって――IIJさんもデータセンターを運営されていますが、大規模化のスケールが、データセンターを丸ごと1個、1カ月とか2カ月、動かして学習させるといったところまできていて、ハードやネットワークなどをどうすればいいのかを解かないと、これ以上大きくできないところまできています。

「なんでうまくいっているのか、まだわからない」ということについて、少し詳しく教えていただけますか。

基盤モデルやディープラーニングなどが出てくる前から、機械学習の分野には、理論ではうまく説明できない部分がたくさんありました。なので、数学の専門家が我々の教科書を見ると「なんでこんなに適当なの？」と驚くほどで（笑）、うまくいったり、失敗した理由が、理論的に説明できないことはよくあるのです。
例えば「言語」ですと、言語にはどういった数学的な特徴があって、こういう特徴があるからうまく学習できるといったことを本当は言いたいのですが、そもそも言語の習得や画像の認識など、人間がやってる知能活動をモデル化することが非常にむずかしい。そこをぼんやりと抽象化したり、一部を切り取って、綺麗に理論化したものもありますが、実際に成功している事例は、それを大きくはみ出していたりします。そして一般に、そうしたことの説明とか理論づけは、5年もしくは10年くらい遅れて、あとからなされることが多いのです。

そんなに時間がかかるのですね。

ディープラーニングも最初うまくいった時に、こういう理由でうまくいったんだろうと考えていたのが、10年くらい経つと、実は全然違っていたなんてことがありました。

AIが将来、人間にとって福音になるか、脅威になるか、といった議論がありますが、進化の解明が何年も先になるなら、AI自体に対する評価も逆転してしまう可能性がありますね？

あり得ます。現時点ですでに悪用されているケースもあって、そういう想定外の影響が積み重なって将来的にどのようなインパクトを与えるのか、さらに、AIによって生成されたテキストや画像が出回るようになると、それらが社会にどういう影響をもたらすのか、現時点では未知数であり、今は手探りで進んでいるといった感じです。
とはいえ、技術の進歩は止められないですし、新しい技術で社会課題が解けるというメリットもあるので、段階的に技術を広めていきながら、それらに対してこれまでも人間はうまく対応して、やりくりしてきたように、社会全体でコントロールしていくことが、AIに関しても重要なんだろうな、と。

うまくいってる理由の一つとして、ディープラーニングで使われている「ニューラルネットワーク」が、人間の脳をうまくモデル化しているから、ということは考えられますか？

実は、それもよくわかってない代表的な部分でして、まず人間の脳の活動が解明されていない。部分的にニューロンやシナプスなどがどう動いているのかということはわかっていますが、もっと総体的に見ると、新しいことを学ぶ「学習」において、脳のなかで何らかの変化が起きているにもかかわらず、具体的にどういう変化が起きてるのかといういちばん基本的なことがわかっていません。
ニューラルネットワークは「誤差逆伝播法」というアルゴリズムを用いて学習したもので、これが工学的にはうまくいって、予想以上に多くの問題を解くことができた。しかし、誤差逆伝播法では情報処理をした時とは、反対方向に誤差情報を流す必要がありますが、脳のなかでは情報は一方向にしか流れません。そこで、脳のなかでも（誤差逆伝播法と）同じような動きが発見できないかと、この30年くらい、いろんな人が研究や再現を試みているのですが、まだ答えは出ていません。

なかなかロマンがある世界ですね。

岡野原さんがこの分野に興味を持たれたキッカケは、何だったのですか？

小学生の頃、パソコン通信をやっていて「データ圧縮」に興味を持ち、どうやってデータを圧縮するのか、さらには、データが持ってる意味とその背後にある数学的な抽象性は一見、無関係に見えますが、実はつながっている……といったことを知ったのです。で、高校生の時、のちに大学で教わることになる辻井（潤一）先生の『確率的言語モデル』という本を読んで、言語について興味を持った。そして2000年頃、ちょうど機械学習の技術が海外から日本に導入され始めて、自然言語処理や、もっと広くAI全般について学んでみたいと思うようになりました。

2006年、東大在学中に「Preferred Infrastructure（PFI）」を設立されました。どのような経緯だったのですか？

2002年、大学1年から2年にかけて、IT人材を発掘・育成する「未踏ユース^＊」でデータ圧縮の研究をしたのですが、参加者の半分くらいは自分で起業していて、それがごく普通でした。私自身、資本はなくても、製品を1つ作ればやっていける！と思っていました。
PFIの共同創業者になる西川徹と私は、当時、RNAを設計するバイオベンチャーでアルバイトしていて、「プログラミングコンテストで競ったメンバーとスタートアップを立ち上げよう」ということになりました。それで友人を6人集めて、2006年にPFIを創業しました。

IIJは創業直後、何度も潰れそうになったのですが（笑）、PFIはいかがでしたか？

「未踏」で働いた給料を自己資金として、私が研究していた検索エンジンの技術を製品化するまで、手弁当でがんばろう……と（笑）。
最初、西川はほかの会社でアルバイトしていましたし、私は会社がスタートした時にGoogleのインターンに行っていました。たぶん日本からGoogle本社へインターンに行った第1号だったはずで、ちょうどYouTubeを買収した瞬間も、Googleの人たちと一緒にニュースを見ていました（笑）。インターンを通して、本場のIT企業ってこんな感じなんだなということを体験できました。

ここからは「Preferred Networks（PFN）」の活動についてうかがいたいと思います。AIによって、世の中はどんなふうに変わっていくのか、もしくは変えていこうとされているのか、教えていただけますか。

今、いちばんホットなのが「基盤モデル」周辺でして、我々は、自社製のチップやスーパーコンピュータなど、独自のリソースを活かして差別化を図り、世の中にない製品・サービスを出していきたいと考えています。
その具体的な成果として「マトランティス（Matlantis）」というサービスがあります。メーカなどが新たにプロダクトを開発する際、使用する材料を原子レベルで調べるのですが、我々のほうで事前に第一原理計算によって作ったデータセットを学習したモデルを提供することで、従来なら実験してみないと使えるかどうか判断できなかった素材についても、計算を行なうだけで高速かつ正確にシミュレーションできるようになりました。バッテリー、触媒、半導体など、多くの開発に使っていただいています。今後はまだ世の中であまり注目されてないタスクについても、どんどん基盤モデル化していく予定です。

基盤モデルは、適用領域に応じて個別に作っていくのですか？

いろんな考え方がありまして、技術的に成功しているのは、言語モデルをハブとして複数のモーダルをつなげていくかたちです。例えば、画像と言語をつなげて、人間がテキストで「〇〇を認識してください」と指示すれば、あらかじめ学習していなくても画像を認識できるといったものも、すでにできています。今までと異なるのは、まったく関係のないデータやタスクをつなげられるようになった点で、大きなブレイクスルーになりました。

そのベースになっているのが言語モデルなのですね？

人間が考えている言語モデルより、もう少し領域を拡張したものです。基盤モデルは違う領域の知識を融合する能力に長けていて、ChatGPTなどは日本語と英語のあいだでも簡単に知識を融合してしまいます。これまでは、専用の翻訳モデルが必要だったり、プログラムを書かないといけなかったのが、テキストでの指示や、サンプルをいくつか示すだけで実行できるようになりました。人間がそういったツールを使えるようになったことは、かなり大きな広がりですよね。

ChatGPTを見ていると、コンピュータと対話できる能力が、人間に要求される時代が来たのかなと思います。

そうですね。外部の業者に頼む時のような指示書を、まさに大規模言語モデルを使う時にも書いて、そこでタスクを正確に、誤解のないように伝えることができれば、期待通りの能力を引き出せますし、そうじゃないと、まったく想定外の答えが返ってきたりします。

そんなこと「聞いてないよ！」って感じですね（笑）。

IIJはこれまでインターネット、ネットワーク、データセンターなど、インフラを軸にやってきたのですが、AIのような最先端のテクノロジーによって世の中を変えていこうとしている御社のような企業と、どんなかたちで協業できるでしょうか？

我々がIIJさんの活動に貢献できることと、IIJさんが我々の活動に貢献していただけることの2通りがあると思います。
まず後者、我々が期待することとしては、AIも今はまだ未熟ですが、これからものすごいスピードとスケールで発展していくでしょう。そして、世の中に普及・浸透すれば、サービスとして一般のユーザに届けられたり、各産業で使われるようになり、それらを支えるデータセンターやネットワークといったインフラの役割がこれまで以上に重要になります。また、現状でも学習に必要な計算資源は十分ではないので、それらを現実的な時間とコストでまかなうために、インフラ側でどういう工夫ができるのか、考えていただければと思います。
次に前者、我々のAI技術がIIJさんの事業に貢献できることとしては、AIを活用したデータセンターやネットワークの最適な運用があると思います。オペレーション業務と協調しながら必要な情報を集めたり、指示を自動的に反映したりですとか、AIにたくさんのデータを学習させることで、万が一、ネットワークがダウンした時に、最善の判断をサポートしたりといったことが考えられます。

なるほど。最近、我々の業界では「エッジコンピューティング」がバズワード化していますが、まだきちんとビジネス化できていません。IIJでも「マイクロデータセンター」を作って、エッジでの活用を目指しています。リアルタイム性を考慮して、エンドユーザに近いところに処理基盤があったほうがいいという発想なのですが、そういう取り組みはいかがですか？

そこには昔から私も注目していました。エッジのメリットは、リアルタイム性、セキュリティ、データガバナンス、それからコストです。基盤モデルも現時点では、ChatGPTのようなテキストベースのインタラクティブな使われ方が主流ですが、画像や音声なども混じえたさまざまな用途がすでに見えています。さらに、ロボットの操縦や自動運転の制御などが実用化されると、エッジの役割はいっそう重要になってきます。いずれクラウドに集めるのは一部の大きなデータだけになって、大部分はエッジ側で連携しながら処理するかたちになると思います。

これまでに御社が手掛けた事例で公表できるようなものはありますか？

特定の企業さんの案件はちょっと話しづらいですが（笑）、PFNの子会社のPreferred Robotics（PFRobotics）が開発した製品に、人間の指示で家具を“自動運転”してくれる「カチャカ」というロボット（写真）があります。カチャカでは、画像認識や音声認識をエッジでリアルタイムにやっていて、自動運転と同じ技術を用いることで、人や障害物があってもスイスイ動くことができます。将来的には、家庭向け、オフィス向けといったふうに、活用シーンに合わせた作業をできるようにしていきたい。そうしたことを実現するには、エッジで情報を処理するのが最適です。

面白そうですね。エッジコンピューティングを含め、なんらかのかたちで協業できるといいですね。本日は、貴重なお話をたくさんうかがうことができました。ありがとうございました。