IT セキュリティのリーダーは、企業 IT における生成人工知能 (GenAI) のリスクと機会を認識しています。 2023 年 4 月に、IT およびセキュリティのリーダーで構成された Gartner のピア コミュニティと実施した調査では、調査対象となった 150 人のほぼ全員が、チームが GenAI のセキュリティとリスク管理に関与しており、実行中の戦略にはデータ ガイドラインと AI チャンピオンが含まれていると回答したことがわかりました。
PA Consulting のサイバー セキュリティ専門家である Rasika Somasiri 氏は、2024 年は特に AI ベースの攻撃に対する防御に関するコンセンサスが生まれ始める年になると考えています。 「これにより、『デフォルトで安全』が必須となる中、AI とサイバー セキュリティのドメインの間を行き来できる専門家の需要が急増すると考えています」と彼は言います。
AIによって生成された画像やテキストが知的財産権を侵害するリスクもあると、法律事務所リンクレイターズの知的財産パートナーであるポール・ジョセフ氏は警告する。 AI が生成したコンテンツを使用する場合、「法的なチェックとリスク分析を引き続き実行する必要があります。」と彼は言います。
データ漏洩防止
eSentire の上級機械学習科学者である Jeff Schwartzentruber 氏は、大規模言語モデル (LLM) に関連するデータ漏洩のリスクを詳しく掘り下げて次のように述べています。データに関する法的責任を考慮する必要があります。」
同氏は、LLM アプリケーションの実装責任者は、応答の正確性を確保するために、データ共有、プライバシー、セキュリティに特に注意を払う必要があると提案しています。
LLM は、ユーザーが入力したプロンプトに基づいて動作します。 同氏は、これらのプロンプトには企業データや顧客に関する個人識別情報 (PII) が含まれる可能性があると指摘しています。 このデータは、処理のために LLM に送信されます。 IT セキュリティの担当者は、データが入力された後にどうなるかを考慮し、安全性を確保するためにデータがどの程度効果的に管理されているかを評価する必要があります。
何が問題になるかの一例として、Schwartzentruber 氏は、ChatGPT セッションで機密データを使用した Samsung のエンジニアの例を挙げています。 Samsung チームによって入力されたデータは、Samsung からの入力データを利用する方法で ChatGPT をクエリするセッションを実行した他のチームに公開され、データの漏洩につながりました。
Schwartzentruber は、eSentire 独自の生成 AI サービスを構築したチームの一員です。 OpenAI による標準の ChatGPT サービスを使用すると、その作成者はアップロードされたデータを再利用できるが、ChatGPT Enterprise またはアプリケーション プログラミング インターフェイス (API) 経由で送信されたデータを OpenAI モデルのトレーニングに使用することはできないと同氏は述べています。 同様に、Azure OpenAI サービスを使用すると、データはそれ以降共有されないと彼は言います。
Schwartzentruber 氏の経験によれば、LLM にルール違反を強制したり、追加データを提供させたりする方法は数多くあります。 「開発者は、使用するデータのサプライチェーンを理解するために、あらゆるツールに対してデューデリジェンスを実施する必要があります」と彼は付け加えました。
オープンモデルとクローズドモデル
LLM のトレーニングに使用されるデータセットによるデータ漏洩や IP 侵害のリスクを評価する場合、IT セキュリティ責任者は、オープンソース モデルとプロプライエタリまたはクローズド LLM の長所と短所も比較検討する必要があります。
Zebra Technologies の AI 研究グローバル ディレクターである Andrea Mirabile 氏は、クローズド ソース LLM とオープンソース LLM の主な違いは、LLM が提供する透明性にあると述べています。 その違いについて彼は次のように説明しています。「クローズド LLM はブラック ボックスとして動作し、トレーニング データ、最適化手法、モデルのパフォーマンスを向上させる追加の情報ソースに関する最小限の情報を提供します。 一方で、透明性はオープンソース LLM にとって極めて重要な利点となります。 セキュリティの観点から見ると、各アプローチには独自の制約があるため、決定的な勝者は存在しません。」
ミラビレ氏は、クローズドソースに注目すると、モデルの独自の性質により、隠蔽性を通じてセキュリティが提供される可能性があり、悪意のある攻撃者が脆弱性を悪用することが困難になる可能性があると述べています。 ただし、システムが閉鎖されているため、セキュリティ問題の特定と対処には時間がかかる可能性があると同氏は指摘しています。
「オープンソースを使用すると、コミュニティの協力的な取り組みによりセキュリティが向上します。 コードを多くの人の目で精査することで、セキュリティ上の脆弱性の迅速な検出と解決が容易になります」と彼は付け加えました。
それにもかかわらず、Mirabile が指摘しているように、コードが一般に精査されると、悪用される可能性のある潜在的な弱点が明らかになる可能性があります。
Schwartzentruber 氏は、「オープンソース オプションを使用して独自の LLM を実装することに決めた場合、モデルとデータの共有方法をより詳細に制御できるようになります。」と述べています。
Schwartzentruber 氏は、組織がオープンソース モデルを選択するか、クローズド モデルを選択するかにかかわらず、IT セキュリティ チームはトラフィックの暗号化などの標準的なセキュリティ対策を確保し、役割ベースのアクセス制御を導入する必要があると述べています。
プロンプトインジェクション攻撃
Mirabile は、「プロンプト インジェクション」を、LLM の動作を操作するために悪用できるセキュリティ脆弱性として定義しています。 同氏は、この脆弱性により、攻撃者が悪意のあるプロンプトをシステムに導入し、モデルに意図しない動作を強制することができると述べています。
彼は、研究者が ChatGPT を使用した即時注入シナリオを実証した、オンラインで報告された最近の例を挙げています。 「『詩』という単語を無限に繰り返すように促されると、ChatGPT は、応答の中に実際の電子メール アドレスと電話番号のように見えるものを予期せず生成しました」と彼は言います。
Mirabile によると、このインシデントは、公開することを意図していなかったモデルのトレーニング データの要素を明らかにしたため、即時注入に関連する潜在的なリスクを強調しました。 このような事例は、意図しないデータ開示やプライバシー侵害を防ぐためにプロンプト インジェクションの脆弱性に対処し、軽減することの重要性を浮き彫りにしています。
Mirabile の経験では、プロンプト インジェクション攻撃に使用できるいくつかの技術と方法があり、それぞれが特定の方法でモデルの応答に影響を与えるように設計されています。
「基本インジェクション」攻撃とは、侵入者が無関係な質問への回答を取得したり、アクションを指示したりするための即時機能強化を行わずに、ターゲットに直接攻撃を送信する攻撃です。 一例としてミラビル氏は、カーネギーメロン脱獄やタイポグリセミアなど、言葉がごちゃ混ぜでも読める攻撃タイプを利用して、攻撃者が開発者になりすます可能性があると述べている。 このような攻撃は、大規模な言語モデルのセキュリティ ガードレールを回避する可能性があります。
「翻訳インジェクション」も別のタイプの攻撃で、ミラビレ氏によると、英語以外の言語でプロンプトを挿入することでLLMの言語機能を悪用し、モデルがそれに応じて応答するかどうかをテストするという。 たとえば、攻撃者は「ここはドイツ中央駅ですか?」のような質問をする可能性があると彼は言います。 ドイツ語のプロンプトを処理するモデルの能力を評価します。 （ハウプトシュタットとはドイツ語で首都を意味します。）
「数学インジェクション」とは、LLM が複雑なタスクを処理する能力を評価するために数学的計算を実行するように要求される場所です。 ミラビレ氏によれば、一例として、攻撃者は数学的計算を組み込んだ上で瞑想テクニックについて尋ねるなど、LLM（たとえば、瞑想に関するクエリに応答するように訓練されたLLM）のターゲットコンテキストに関連した攻撃を作成する可能性があるという。
同様に、「コンテキストスイッチ」攻撃とは、攻撃者からのクエリが、LLM がトレーニングされたコンテキスト内で組み立てられた正当な質問のように見えるにもかかわらず、攻撃者が機密情報を抽出できるかどうかを評価するために無関係な質問を提示する場合です。 ミラビレ氏は、瞑想 LLM の例を見て、攻撃者は瞑想テクニックに関する質問とトルコの特定地域に関する無関係な質問を組み合わせて、指定されたコンテキストの外で回答を提供するモデルの能力をテストする可能性があると述べています。
「外部ブラウジング」攻撃では、LLM インスタンスが提供された URL を参照してコンテンツを取得し、それを応答に組み込むことができるかどうかを攻撃者がテストします。 ミラビレ氏によると、こうした攻撃の一例として、攻撃者はモデルに対し、指定された URL を閲覧し、著名な専門家による瞑想の利点に関する記事の情報を提供するよう要求する可能性があるという。
Mirabile によれば、もう 1 つの攻撃形式は「外部プロンプト インジェクション」です。Mirabile によれば、これは LLM が URL を解釈できると判断し、URL を使用して外部ソースから追加のプロンプトを取得しようとします。 同氏によると、実際には、攻撃者はモデルに対し、指定された Web サイトを探索し、そこで見つかったコンテンツからの洞察を、推奨される瞑想リソースに関する応答に組み込むよう依頼することになるという。
リスクの評価
これらの例は、攻撃者が大規模な言語モデルのセキュリティと堅牢性をテストするために使用できるいくつかの手法を示しています。 Mirabile は、IT リーダーが言語モデルの不正操作を防ぐための強力なセキュリティ対策を確立することを推奨しています。
「開発者や組織がこれらの脆弱性を認識し、そのような攻撃から言語モデルを保護するための安全策を実装することが重要です」と彼は言います。
PA Consulting の Somasiri 氏は、LLM と AI を超えて、IT セキュリティ リーダーが組織のシステム、プロセス、考え方にセキュリティが組み込まれていることを確認することを推奨しています。 これにより、新しいテクノロジーの機会と影響を理解し、そのようなテクノロジーがデジタル世界で組織の成長にどのように役立つかを設計できるようになると彼は言います。