AI の失態は、幻覚であれ、疑わしい判断であれ、冷静に考えさせられるものです。これが、人間が常に状況を把握していなければならない理由の 1 つです。しかし、人工知能は人間には物理的に不可能な速度と規模で動作し、人間によるレビューと監視を必要とするエッジ ケースの例外を表面化させることがあります。このようなパートナーシップは、AI が正しく機能していることを保証するのに役立ちます。
「人間は24時間365日物事を読み取って評価し、数ミリ秒で行動を起こすことはできません。だからこそチューリングテストはもう適用されません。なぜなら今や人間と同じ能力を持ちながら、はるかに多くの情報を取得しているため、規模、速度、精度が10万倍向上しているからです」とAI/MLテストプラットフォームのCEO兼共同創設者であるモハメド・エルゲンディ氏は言う。 コレナ「大規模言語モデルは、モデルを展開する前に評価するために、また展開後にガードレールとして使用されています。」
たとえば、企業は、チャットボットが競合他社について言及するのを防ぐためのシンプルなガードレールや、暴力、幻覚、脱獄に関するより複雑なガードレールをチャットボットに求めるかもしれません。フィンテック分野では、モデルがフィンテック アプリケーションで金融アドバイスを提供することは違法であるため、禁止されています。
「AIを使って他のAIシステムを監視・規制するというアイデアは、これらのシステムが効果的かつ倫理的であることを保証する上で重要な発展です」とソフトウェア開発会社の創設者であるキャッシュ・メリル氏は言う。 ジブテック電子メールのインタビューで、彼は次のように答えた。「現在、他のモデルの行動を予測する機械学習モデル（メタモデル）などの技術がAIの監視に使用されています。これらのシステムは、運用中のAIのパターンと出力を分析し、異常、バイアス、または潜在的な障害を重大になる前に検出します。」
AI モニタリング AI の利点には、人間が達成できないレベルのスケーラビリティ、AI は休息を必要としないためのより高いレベルの一貫性、人間のアナリストが見落とす可能性のあるより深いパターンと相関関係に基づく詳細な分析などがあります。
監視をテストの観点から考える
AI はソフトウェアを通じて表現されますが、他の種類のソフトウェアと同様に、AI が設計どおりに機能していることを確認するにはテストが必要です。たとえば、大規模言語モデル (LLM) API を呼び出すアプリケーションが増えていますが、AI の消費の問題は、誰かがそれを測定する必要があることです。構造化された時間データを活用する AI を使用すると、より正確な予測を実現できます。
「AIによってもたらされる消費を常に監視し、構造化された時系列データを活用してその中のパターンを理解し、予測を行ったり、異常を理解したり、それらの間の変化点の関係を理解しようとしています」と、CEO兼共同創設者のデヴァルブラット・シャー氏は言う。 イキガイラボ、構造化時系列データ用のエンタープライズ生成 AI プラットフォームの開発者であり、MIT のデータサイエンスと統計学の教授です。
仮説検証のためのAIの活用も必要だと彼は言う。
例えば、社会には守るべき規範があり、AIはすでに規制遵守に活用されています。しかし、AIはどの規範が有効で、どの規範が無効かを定義するのに役立てることができます。ユーザーはAIに規範を提示し、AIはその規範が仮説検定に変換可能かどうかを判断できます。変換可能であれば、データを使用して規範を継続的に検証できます。AIは、どのようなデータが必要かをユーザーに伝えることもできます。
「学者として言えば、私たちがすべきことは仮説検定の概念を定義し、それから検定を作成し、そこから証明を作成することです」とシャー氏は言います。「AI と私は、フォームの監査であろうとフォームの訴訟であろうと、規制の定義と規制 AI の管理の両方ができる必要があります。」
アイデンティティ保護会社のチーフサイエンティスト兼製品開発担当EVP、ズルフィカール・ラムザン氏 オーラ氏は、特に複雑なシステムの場合、透明性だけでは不十分だ、なぜなら複雑なシステムは人間が理解するには複雑すぎるからだ、と述べている。
「説明可能な AI 研究は数多く行われていますが、より高度なアルゴリズムに関しては、実稼働環境に必要なレベルにはまだ程遠い状態です」と Ramzan 氏は言います。
AIによる監視の課題
Zibtek の Merrill 氏によると、AI を使って AI を監視する場合、3 つの課題があるそうです。1 つ目は、自己制御の複雑さです。他の AI を効果的に監視する AI を設計するには、複雑な再帰トレーニングが必要であり、実装と維持が困難な場合があります。
2 つ目は、テクノロジーへの過度の依存です。テクノロジーによるソリューションに過度に依存するリスクがあり、AI の決定を監視して状況を把握する上で重要な人間の判断が軽視される可能性があります。
3 つ目は、倫理とプライバシーに関する懸念です。AI を使用して他の AI システムを監視すると、特にこれらのシステムを誰が管理し、どのように使用するかという点に関して、プライバシーと監視に関する重大な懸念が生じます。
もう 1 つの課題は、実際に何が起こっているかを理解できるかどうかであり、そのために説明可能な AI が重要になります。
「決定木やランダムフォレストのような単純なアルゴリズムを理解するのに、機械学習の博士号は必要ありません。（しかし）どこからでも、どんなものでも発生する可能性のあるユーザーデータを扱う、完全に制約のない環境を扱う場合、すべてのユースケースを確実にキャッチできるかどうかは問題になる可能性があります」と、Aura の Ramzan 氏は言います。
推論の精度はデータに依存するため、組織がまず始めるべきことは AI を使用してデータを監視することだと彼は考えています。
「事前にデータを調べる必要があります。それがなければ、下流で何が起こっても意味がありません」と Ramzan 氏は言います。「2 番目は、特徴エンジニアリングと、データで何を探すべきかを知ることです。ここでドメインの専門知識が重要になります。その後、プログラムでそれらの種類のインスタンスを探し始めることができます。そして、そのとき初めて分類器が重要になります。」
AI監視の未来
OpenAI は、特定の 1 つのことだけを得意とする現在の狭義の人工知能 (ANI) よりも解決が難しい問題である汎用人工知能 (AGI) の構築に対する意欲と努力について公に語ってきた。Kolena は現在、政府機関と提携して AGI に取り組んでおり、2050 年まで延長された長期予測にもかかわらず、Elgendy 氏は AGI が 2025 年にデビューすると予想している。
「AGI に関しては、インターネットから情報を学習すると幻覚が起こり、意思決定が必要になるため、いくつかのことを忘れてもらいたいのです」とエルゲンディ氏は言う。「監視には 2 つの要素があります。AI が意図したとおりに動作していることを確認することと、AI が混乱したときにすべての動作が最終的な出力にどのようにつながったかを人間が詳細に理解できるようにすることです。」
Zibtek の Merrill 氏は、自己修正機能とより微妙な倫理に基づく意思決定が可能な、より自律的な AI システムの台頭を予測しています。
「説明可能な AI の進歩は、AI 監視をより透明かつ理解しやすいものにする上で重要な役割を果たすでしょう。これは、国民の信頼と規制遵守を獲得するために不可欠です」とメリルは述べています。「これらのテクノロジーを改良する中で、人間だけが提供できる重要な監視に取って代わることなく、AI が人間の能力を強化するバランスの取れたエコシステムを構築することが目標になります。」
Aura の Ramzan は、Explainable AI に注力しています。
「これは現在、活発な研究が行われている分野です。また、法律やコンプライアンス体制がますます重要になってきており、より優れた説明可能性が必要であるという点が強調されるでしょう」と Ramzan 氏は言います。「システムを初めて導入し、それがどのように機能するか、どのように検証するかがわからないのは本当に怖いことです。そのため、まず検証ステップに多大な労力を費やす必要があります。」