大規模言語モデル (LLM) と生成 AI (GenAI) がエンタープライズ ソフトウェアに組み込まれることが増えているため、開発者がどのように始めるかという点での参入障壁はほぼ取り除かれています。
さまざまな Microsoft Copilot 製品など、ビジネス ユーザーの生産性をターゲットにした既製の製品が数多くあります。 ソフトウェア開発者向けに、Microsoft は Github Copilot も提供しています。これは、開発者がより迅速にコードを作成できるように自動補完およびプロンプトを提供することで、コーディングを高速化するように設計されています。
アプリケーション プログラミング インターフェイス (API) を介して ChatGPT などのパブリック クラウド ベースのサービスにアクセスすると、開発者は強力な AI チャットボットを独自のアプリケーションに組み込むことができます。 Salesforce、Workday、Oracle、SAP などの製品など、最新のエンタープライズ ソフトウェアの顧客である組織の開発者も、LLM を活用したエンタープライズ AI 機能にアクセスできるようになります。
唯一の注意点は、データのプライバシーと知的財産の保護です。 開発者はパブリック クラウドですぐに利用できるツールを簡単に試し始めることができますが、効果的なトレーニングには高品質のドメイン固有のデータが必要です。
企業のデータ ウェアハウスにはそのようなデータセットが大量にありますが、データ漏洩を防ぐため、開発者がそのようなデータを公開する権限を持っていない限り、企業データをパブリック LLM に転送してはなりません。
また、開発者は、個人を特定できる情報を LLM で使用することにも注意する必要があります。トレーニングのためにそのようなデータを LLM に移動すると、データ プライバシー規制に違反する可能性があります。 最善のアドバイスは、トレーニングとテストに必要なデータが企業のデータ ポリシーに準拠していることを確認することです。
そのため、組織が独自のプライベート LLM を構築することに大きな関心が集まっています。 実際には、このようなシステムは、パブリック LLM から収集できる膨大な量の情報と、企業の IT システムにおける商業上の機密データや独自のデータを組み合わせることができれば、最も効果的に機能します。
LLM を始める方法
開発者が AI を導入したアプリケーションの構築を開始するために利用できる、アクセスしやすい API を備えた LLM が多数あります。 開発者は、オープン LLM を使用するか独自の LLM を使用するかを決定する必要があります。
API にアクセスできる独自のモデルは通常、使用量に基づいてライセンスが付与され、開発者は使用量の要件に基づいてサブスクリプションにサインアップするだけです。 使用量は、LLM によって送受信されるテキストの量に基づいて、業界で「トークン」と呼ばれるもので測定され、価格が設定されます。 これは、広範囲に使用されるとコストが急速に増加する可能性があることを意味しますが、Sonatype のフィールド最高技術責任者 (CTO) である Ilkka Turunen 氏によると、これらの要求の計算は必ずしも単純ではなく、ペイロードを深く理解する必要があるとのことです。
オープン モデルは通常、ライセンス料がかからないため、プロプライエタリな LLM よりも長期的にははるかに安価です。 しかし、オープンソース モデルを検討している開発者は、パブリック クラウド上でのトレーニングと実行、または AI ワークロードに最適化されたオンプレミス データセンター サーバーの使用にかかるコストも考慮する必要があります。
オープン モデルには、Meta の LLaMA2、Google の Bert、アブダビの Technology Innovation Institute の Falcon-40B などがあります。 利用可能なオープン モデルは多数あり、開発者がその利点と欠点についてもう少し理解できるように、Hugging Spaces は、生成言語モデルをテストするための Eleuther AI Language Model Evaluation Harness 統合フレームワークを使用するオープン ソース LLM のリーダーボードを作成しました。 。
LLM トレーニングに必要なハードウェアは何ですか
LLM は大量のコンピューティング リソースを必要とします。 たとえば、2023 年、ジュニパーネットワークスの技術者兼エンジニアリング シニア ディレクターであるシャラダ イェルリ氏は、2048 個の Nvidia A100 グラフィックス プロセッシング ユニット (GPU) を使用すると、32,000 語の語彙で LLaMA2 をトレーニングするには 21 日かかることを示す記事を LinkedIn に投稿しました。 。
主要な PC サーバー会社はいずれも、AI ワークロードに最適化されたサーバーを提供しています。 これらのサーバーは、GPU を効率的にリンクしてスケーラブルなパフォーマンスを実現する高速相互接続を備えたクラスターとして事前構成されています。
効率の点で、他の LLM よりもハードウェアの使用率が優れている LLM がいくつかあることは明らかです。 Hugging Spaces リーダーボードは、開発者がさまざまな LLM の IT リソース要件を調査するときに参照できる場所の 1 つです。 他にも、Github でのオープン コラボレーションなどがあります。
また、より少ないデータでトレーニングされ、結果として必要な計算能力がはるかに少なくなる、より小さなモデルを実行することも完全に実現可能です。 これらの中には、AI チップを搭載した、かなり高性能なラップトップまたはデスクトップ PC 上で実行できるものもあります。
避けるべきよくある落とし穴
AI システムは非決定的になる傾向があり、これは意思決定 AI システムの設計とテストの方法に影響を及ぼします。 トレーニングに使用されるデータが不完全な場合、AI システムに現実世界のデータが提示されたときに、バイアスや誤った仮定が生じることになります。 開発者は、最適な結果を達成するために、データ モデルを微調整し、ハイパーパラメーターの調整やニュアンスなどのテクニックを使用して微調整する必要があります。
LLM は高品質のトレーニング データに依存しています。 データが不完全、一貫性がない、または特定の人口統計が欠落している場合、得られる回答に欠陥や偏りが生じる可能性があります。
LLM は時々混乱することがあります。 この現象は幻覚として知られています。
ビジネス インテリジェンスで LLMS を使用する
パブリック LLM は膨大な量のパブリック データを使用してトレーニングされますが、ビジネスの内部構造にはアクセスできません。 公開データに基づく推論エンジンでは、組織の範囲内の特定の領域やビジネス プロセスを動かす情報フローの微妙な違いを見逃してしまう可能性があります。
意思決定システムで使用する場合、開発者は説明可能性の問題も考慮する必要があります。独自の LLM はむしろブラック ボックスに似ており、入力された質問に対する推論エンジンがどのように答えを導き出すかを解読することが困難になるためです。
データ漏洩を避けるために、多くの IT リーダーはパブリック LLM の使用を禁止または制限しています。 公開データは推論アプリケーションで使用できますが、LLM からの出力は企業の IT システムに存在する企業固有の情報と組み合わせる必要があります。
データの一貫性と完全性を確保し、データ漏洩を防ぐためのガードレールを備えた、健全な情報管理戦略が鍵となります。 まずは、市販の既製のエンタープライズ アプリケーションに保存されているデータから始めます。 これらのソフトウェア パッケージの多くには LLM が組み込まれています。
たとえば、Oracle は、顧客が独自のプライベート データを使用してパブリック LLM を「微調整」し、その組織に固有の結果を提供する方法を提供しています。 同社は最近、Oracle Cloud Infrastructure用のGenAIエージェントを発表しました。 Oracle の副社長兼 GenAI サービス担当ゼネラルマネージャーの Vinod Mamtani 氏は次のように述べています。「AI サービスにアクセスするために、顧客がデータ ストアの外にデータを移動する必要はありません。 その代わりに、私たちは顧客のデータが存在する場所に AI テクノロジーを導入します。」
ライバルの SAP も LLM をエンタープライズ データ ソースにリンクしています。 SAP Hana Cloud マルチモーダル データベースにはベクトル データベース エンジンが含まれており、組織は LLM の機能とエンタープライズ データを組み合わせてクエリに答えることができます。
SAP の最高技術責任者 (CTO) であるユルゲン・ミューラー氏は次のように述べています。 過去 1 ～ 2 年に何が起こったのか全く分からず、ビジネス データにもアクセスできないため、運用環境に導入するのは困難です。」
LLM を使用した開発のビジネスケースを作成する
アナリストの Forrester 氏によると、LLM を使用する機会の 1 つは、財務や会計などの業務効率を改善して外部監査費用を削減することです。 すべての最高財務責任者は、外部監査人に請求可能な時間を削減したいと考えています。 LLM は監査人の質問に答え、情報収集に必要な時間と内部スタッフを削減できます。
監査人は、LLM を使用して作業をより効率的に行う方法も検討しています。 たとえば、PwC は、相互参照を行う税務 AI アシスタント ツールを開発し、判例法、法律、その他の基礎となる情報源と英国に拠点を置く独自の知的財産に関するトレーニングを受けています。
PwC によると、税規則の変更や更新を反映するためにデータは定期的に更新されています。 このモデルは、一般に入手可能な LLM と比較して税務分野で大幅に高い品質と精度を生成し、基礎となるデータへの参照を提供するため、税務専門家による透明性のある正確な検証が可能になると主張しています。