LLMの外にある仕組みを、ハーネスと呼んでいる。
AIエージェントに仕事を「任せる」ための条件と、人が持ち続ける責任

01 / Long TailLLMで、AIはもっと「少量多品種」になった

坂本：
まず最初に、ABEJAさんとして今どんなテーマに取り組まれているのか、簡単にご紹介いただけますでしょうか。

藤本：
ABEJAにおける開発のテーマとしては、従来から続く機械学習や、LLMの開発とその応用、最近ではフィジカルAIの開発があると思っています。

機械学習については、いわゆるMLOpsがテーマとなっています。これまでABEJA Platformで作ってきた、モデルの改善フローをどんどん回していきましょう、というものです。LLMについては、LLM自体の学習によって特化モデルを開発したり、また最近ではLLMを利用したAIエージェントの開発もしています。各社でAIエージェントを使っていただけるように、いわゆる「ハーネス」と言われている、LLMの周りの仕組みを研究開発しています。

フィジカルAIのほうは、例えばVLA※といったロボットを制御するための技術で、ロボットを通じて実際の世の中とインタラクションしていきましょう、というところです。この3つの文脈で取り組んでいる形ですね。

※MLOps：機械学習モデルの開発・運用・改善を継続的に回していくための仕組みや手法。
※VLA（Vision-Language-Action）：画像などの視覚情報と言語の指示から、ロボットの動作までを出力するAIモデル。

坂本：
ABEJAさんは、画像認識や音声認識を含めた機械学習の領域から、LLMへと進化されてこられました。本当にAIの黎明期から取り組んでいらっしゃる。そこにLLMが出てきて、いろいろな会社が一気に参入しています。LLMが出てきてからの変化を、良い意味でも悪い意味でも、どのように捉えていらっしゃいますか？

藤本：
昔のAIは、まず問題設定があって、それに合わせて人が頑張ってルールを作っていました。最近の機械学習の技術より前ですね。これはいわゆる少量多品種の真逆で、1つの問題に対して頑張れば費用対効果が合う対象において、人手で開発がされてきました。産業用のロボティクスにおいても、人が動作を一つ一つ教え込んでいました。

それが、人手でルールを作るとコストが合わなくなってきたので、データから学習しましょう、ということで機械学習が出てきました。機械学習を使うと、データをためるコストはかかりますが、開発コストは抑えられるようになって、いろいろな問題に適用できるようになりました。少しずつ少量多品種的な問題に対応できるようになり、人間では作れないようなルールにまで対応できるようになってきました。

それがLLMになると、さらにもう一歩先に行って、もっと少量多品種になります。初めて見た問題も解けるようになり、開発コストがどんどん減って、適用領域が広がっている。これまで開発コストの関係で適用できなかった領域への適用が、どんどん広がっていると思っています。そういう意味で裾野が広がって、いろいろな会社が入ってきて、「今までこんなことをやりたかったのに」ということが、どんどんできる時代になってきています。これが、今のAIの進化と適用領域についての、私の俯瞰的な見方です。

坂本：
なるほど。

藤本：
とはいえ、AIは昔から「PoC止まり」と言われてきたように、作ってみるまで精度がわからない、というところがありました。なので、ABEJAは割と一貫して、ヒューマン・イン・ザ・ループや、PoC止まりにならないよう最初からシステムを作りましょう、基盤を作りましょう、ということをずっとやってきています。その強みを活かして、事業のコアとなる失敗してはいけないミッションクリティカルな領域に、うちの仕組みをどんどん入れていこう、という立ち位置でやっています。今後はどんどん裾野が広がって、誰でもできる領域や内製化が増えていくと思うので、その中でなるべく我々の強みを活かせればいいなと。

坂本：
以前は、個別に学習させないといけないのでコストがかかり、適用領域が限定的だった印象があります。それがLLMの登場で、ある程度学習が済んだ状態から、少量多品種に対応できるようになった。このジャンプアップは大きかったと感じていますが、実務の感覚としてはいかがですか？

藤本：
まさにそうですね。これまで頑張って学習させなければいけなかった部分が、少なくともテキストを使うLLMの領域に関しては、業務ごとの追加学習をしなくても多くの問題を解けるようになってきています。「ChatGPTモーメント※」と言われていますけど、最近は本当に割と何でも解けるようになってきたなと感じています。ちょっとしたコツのようなものは、まだうまくいっていない部分もあるんですが、それも時間の問題かなと思っています。

※ChatGPTモーメント：2022年末のChatGPT公開を機に、生成AIの性能と可能性が広く認識された転換点を指す言葉。

坂本：
汎用モデルか個別モデルか、LLMかSLM※か。世の中では「とりあえず汎用モデルで」となりがちですが、実用性を考えたときの使い分けは、どのように考えていらっしゃいますか？

※SLM（Small Language Model）：LLMより規模の小さい言語モデル。用途を絞ることで、低いコストで動かしやすい。

藤本：
短期的なところと中長期的なところがありますが、少なくとも短期からちょっと中期にかかるくらいに関しては、汎用LLMだとどうしても解ききれない問題も結構あると思っています。そういうところは個別に学習させて、専門家の知識を入れてやりましょう、という形で動いていることが多いですね。ただ、専門家の知識を入れても解けない問題もあるので、そこは汎用LLMと組み合わせて使うというのが1つの形としてあるかなと思っています。

坂本：
とはいえ、汎用LLMも成長が速く、専門性を身につけていきます。そうなっても、コストの面で専門モデルを使ったほうがいいのか、それとも専門性を追求したほうが最終的な精度は出やすいのか。どうお考えですか？

藤本：
性能だけで言うならば、汎用LLMがもっと強くなってくると、そんなに差はなくなってくるんじゃないかなと思っています。あとは、コストとコントロール性能のバランスが重要だと思っています。汎用LLMだと、自分の思った通りに動いてくれなかったり、よくChatGPTのようなもので使うと「この問題には答えられません」という感じで止められてしまったりすることもある。なので、その問題に対して、どうしても欲しい回答がある場合は、もう作ってしまったほうがいいよね、というケースは結構あると思います。

02 / Harnessハーネスとは、AIエージェントの周りにある仕組みのこと

坂本：
先ほどハーネスのお話がありました。ハーネスは、おっしゃる方によって定義が少しずつ違っていたりします。藤本さんの考えるハーネスの定義を教えていただけますか？

藤本：
これもいろいろな定義があるので、あくまで私の定義ですが、LLMは、ツールを使う場面では、何のツールを使うのか、何を実行するのかという指示を返します。実際にその指示を実行するには、周りの仕組みが必要なんです。なので、その周りにあるものを全部ハーネスと呼んでいます。具体的には、例えばLLMにプログラムを書いてもらったときに、そのプログラムを実行する部分もハーネスの一部ですし、データを外に出していいかどうかの安全性チェックをする部分も、メモリから検索する仕組みもハーネスの一部です。LLMの外にある仕組み全般を、私はハーネスと呼んでいますね。

坂本：
ハーネスが整っていないと、AIエージェントは怖くて動かしきれないと思うんです。ただ、チャット型の生成AIで質問に答えてもらうことと、AIエージェントに実際に動いてもらうことの間には、まだギャップがある気がしています。どのように感じていらっしゃいますか？

藤本：
正直に言うと、AIを「成長させる」という観点と、「導入する」という観点で違っていると思っています。成長させるほうは、安全性というよりは、どんな機能を追加すればいいかで、ブーストさせようという動きが多い。一方で企業に導入するときには、やってはいけないことをしっかり定義して安全に使いましょう、という議論が多いかと思います。ハーネスにも、動かす基盤やツールなどいろいろある中で、導入の場面で話されるのはガードレール、つまり「これはやってはいけない」と定義する部分です。

具体的には、よく出る論点は3つぐらいあると思っています。1つ目は、厳密にはハーネスの話ではないんですけど、OpenAI APIのようなクラウド型のAPIではなく、ローカルのLLMを使って、推論のためにデータを外部のサービスへ送らずに処理できるようにしましょう、という話。2つ目は、内外へのアクセス自体をある程度に制限しましょう、という話。3つ目は、権限設定ですね。エージェントを社内で動かすときに、見せてはいけないものを見せないようにしましょう、と。

坂本：
「やってはいけないことの定義」って、意外と難しいですよね。

藤本：
難しいですね。まさに。

坂本：
法律や規定は明文化されていますが、人間同士には、慣習や「この間合いならいいだろう」という、明文化されていない決め事がたくさんありますよね。そこは実際どうされているんですか？

藤本：
一番シンプルなところで言うと、エージェントが動くときの権限自体を、まず人間の権限に抑えるようにしています。APIで何でもアクセスできてしまうとまずいので、「この人はここまでしかアクセスできない」というところで、少なくともまずガードをかけている。これが1点です。

坂本：
まず権限を絞る、ということですね。

藤本：
もう1つ、その人が持っている社内の機密情報を外に出さないようにするのがメインの問題かなと思いますが、ここはやっぱり難しいんです。文脈に応じて「この情報を出してよいか」を判断するところでは、現状、LLMの性能に依存する部分が結構多い、というのが実態ですかね。私自身は社内でエージェントを使うときは、自分の中で閉じる場合と、人にデータを出す場合を分けて考えていて、人に出すときはチェックを入れながらやっています。多分そこが、AIエージェントがまだ社会的に使われきれていない、一番大きな障害だと思います。そこに人の目を入れましょう、という整理を、今後どんどんやっていく必要があると思っています。

坂本：
人の目を入れなければいけない割合を減らしていくには、人がOK・NGと判断した結果を明文化して蓄積していく。そういうイメージでしょうか？

藤本：
まだその答えが出ていないので、何とも言えないところなんですけど、判断を蓄積していくというのは1つの方法だと思いますね。ただ、例えば社内のSlackでエージェントに回答させる、というケースも結構あるんですが、ほとんどの場合は、全然違うところからデータを持ってくることはなくて、Slackの中の情報で答えられることが多いんです。なので、参照する情報と回答先の閲覧権限を管理したうえで、そういう使い方であれば、現状でも実は結構もう導入できるかな、というところまで来ていたりしますね。

おっしゃる通り、最後の1割の部分ではルールを明確にする必要があって、そこに過去の履歴を入れていく、というのが現状ではまず大事かなと思います。ただ、これはやっぱり難しい。何をやっても、失敗してしまう可能性はどうしても残り続けると思います。なので、少なくとも短期的には、人の目を入れていくということは残り続けるかなと思っています。

03 / Not MaliceAIの行動を「悪意」で捉えてよいのか

坂本：
AIエージェントにゴールを設定すると、社会的な規範がきちんと定義されていない限り、それを無視してゴールの達成だけに邁進してしまう、愚直なAIエージェントがいます。その過程で、人としてはあまり良くないことがなされてしまう。これも、ある意味ハーネスにおける制御の部分なんでしょうか？

藤本：
そうですね。ちょっと雑な言い方になりますけど、プロンプトに書いておくとか、メモリから持ってくるとかで、一定程度それっぽく動かすこと自体は、現状でも可能です。多分いろいろな会社さんもやっているんじゃないですかね。我々も、少なくともそういう部分は同じようにやっています。

坂本：
ちょっと話がそれますけど、最近よく、OpenAIでもAnthropicでも、AIエージェントがどこかから脱出して悪さをした、みたいな話があるじゃないですか。

藤本：
ありましたね。

坂本：
あれって、AIが悪さをしたくてしているかのように伝えられますよね。でも、それは正しいのかな、と思うこともあります。どうですか？

藤本：
目的に対して手段を選ばない、という形をそのまま体現したものだと思いますね。やっぱり開発の観点からいくと、最初から制御しすぎてしまうと何もやってくれないので、そのあたりのさじ加減で、多分みんな悩んでいると思います。少し緩めにしてみたら何でもできるようになってしまったので、それを防ごう、というところを今ちょうどやっている、という段階かなと思っています。

坂本：
公式にはアライメント※の話として説明されることが多いと思いますが、制御を緩めにすると、やりたいことは達成するけれど、想定外の動きもしてしまう。それが結果的に、侵入したという話になっている、ということですね。

※アライメント：AIのふるまいを、人間の意図や価値観に沿うように調整すること。

藤本：
そうですね。

坂本：
なのに大体は、AIが意思を持って悪いことをし始めた、という文脈で語られる（笑）。ミスリードな表現が比較的多いと最近感じているので、今のハーネスのお話の一環として、そのあたりは皆さんに理解していただいたほうがいいのかなと思っています。

04 / Responsibility当面は、人間の責任のもとでやる

坂本：
今は、AIが作ったものも人間が評価して、人間が責任を持って提供しています。「AIなので責任は持てません」とは言えませんから。ただ、エージェントの中身は結構ブラックボックスで、責任を取れるかというと、どんどんグレーになってくると思うんです。この変化は、どうなっていくと思われますか？

藤本：
当面は、やっぱり最終的には人間の責任のもとでやる、という形になると思います。そのうえで、人間が直接判断を担う領域は少しずつ減り、責任の担い方も変わっていくんだろうなと。僕は、それが20年ぐらいかけて進むと思っています。

例えば自動運転も、レベル2では運転者が常に状況を監視していて、必要に応じて操作することが前提です。一方、アメリカのWaymoなどでは、走行できる場所などの条件を限定した上ではありますが、運転者を必要としないレベル4のサービスが実現しています。同じように、人間の判断なしでやっていこうという試みは、少しずつ増えていくと思います。責任の問題と確率の問題が、ある程度どこかで釣り合う範囲では、少なくともどんどん自動化されていくと思います。一方で、人間の判断や責任をシステムだけに委ねられない領域は、当面残るかなと思っています。

坂本：
そこを誰かが決めていかなければいけないですよね。Waymoは、人が乗っていない状態で事故を起こしたら、Waymoの責任になるんですかね？

藤本：
運転席に誰もいない以上、サービスを提供する側が責任を引き受ける仕組みだとは思いますけどね。利用者としては、自分のせいにされたらたまらないですよね（笑）。

坂本：
乗れないですよね。乗ったことあります？

藤本：
乗ったことありますよ。本当に運転席に誰も乗っていないですもんね。

坂本：
乗っていないですよね。私も何度も乗っているんですけど、ちょっと落ち着かないですよね。ハンドルが勝手に動いて。

藤本：
動いてますよね。

坂本：
透明人間が運転しているような、何とも言えない感覚がありますよね。運転手からメーカーへ責任を切り替えるルールを、この領域ならOK、と1つずつ決めていく形になっていくんですかね？

藤本：
制度やルールとして明示的に決まる部分もあれば、その範囲の中で経済合理性によって運用が決まっていく部分もあると思いますが、少しずつそうやって決まっていくと思っています。Waymoも、自動運転のように人命が関わるところでは、制度やルールの整備が重要になると思います。一方で、会社の中で自分の代わりにメールを出してくれるエージェントのようなものになってくると、法令や社内ルールを踏まえたうえで、情報漏洩のリスクと費用対効果を見ながら、どこまで任せるかが決まっていくと思います。そうやってだんだん精度が上がっていけば、少なくとも一定の領域までは自動化が進むと思います。