こんにちは！
ネットワークカメラとIP監視カメラシステムのシステム・ケイです！

近年、人工知能（AI）の進化は目覚ましく、私たちの生活や仕事に大きな影響を与えています。
その中でも、「LLM（大規模言語モデル）」は特に注目を集めている技術で、多くの企業が開発を進めています。
今回はそのLLMの仕組みや活用例を分かりやすくご紹介します！

LLM（大規模言語モデル）とは

LLM（Large Language Model：大規模言語モデル）は、膨大なテキストデータを用いて文章や単語を処理する人工知能の一種です。
ウェブサイトや書籍から学習した言語をモデル化し、文章の作成や質問への回答など幅広い用途に活用されています。

また、近年はIT技術の発展により膨大な量のデータ（ビッグデータ）のやり取りや蓄積が可能になっています。
そのデータをLLM開発に活用することで、高度な判断能力を持つAIを用いたサービスが数多く世に出ていることに注目が集まっています。

LLMとAI用語との関係

日常生活やビジネスシーンでもよく耳にするAI用語の多くが、LLMと密接に関係しています。
この項目では各用語がLLMとどのように関係しているのかを解説します。

機械学習

機械学習はデータ分析方法のひとつです。
コンピュータがデータから自動的に学習し、分類やパターンを判断できるようになる技術のことを指します。

そしてLLMも機械学習の一種であり、その開発・運用に利用されていることはご存じでしょうか。
データと一言で言ってもその内容は多岐にわたります。
中でもLLMは言語に特化しており、収集したテキストデータをもとに言語を処理する学習モデルとなります。

生成AI

生成AI（Generative AI）は、コンテンツを生成する能力を持ったAIのことです。
入力したデータに基づいてテキスト・画像・音声など多種多様なコンテンツをAIで生成することが可能で、それら全てが生成AIに当てはまります。
特に、テキスト（文章や歌詞、プログラムコード等）を生成することは、LLMを用いた生成AIの活用方法の代表例と言えるでしょう。

余談ですが、生成AIに対してコンテンツの生成に対応していない非生成AIについても簡単に記載します。
非生成AIは入力されたデータに対して定型の回答をする能力に長けています。
顔認証や、会議音声の文字起こしをする技術が非生成AIに該当します。

NLP（自然言語処理）

NLP（Natural Language Processing：自然言語処理）は、人間が使う言語をコンピュータが理解し処理をする技術です。
機械学習を利用することで、言語データを品詞単位で分類・解析し文章を組み立てます。
機械翻訳やAIアシスタント等の根幹を成す技術で、これらのサービスの運用には欠かせない技術となっています。

ChatGPT

ChatGPTはOpenAI社が開発、2022年に公開したAIアシスタントサービスです。
名前をご存じの方、日常や仕事で活用されている方も多いのではないでしょうか。

先述したNLPに特化したサービスで、人間同士が実際に話しているかのように自然なやり取りができることが話題となりました。
精度の高い回答内容や幅広い分野の知識に対応していることが強みです。

LLMの仕組み

こちらの項目では、LLMで使われている技術の例をいくつか解説いたします。

RNN

RNN（回帰型ニューラルネットワーク、Recurrent Neural Network）は、系列データの処理に使用されるネットワークの一種です。
文章は単語の連続ですので、意味の通じる文章を生成するには単語の順番や使い方が適切であることは必須条件ですよね。
そこで注目されたのがRNNの仕組みです。
RNNのエンコーダー・デコーダー構造により、直前の単語をもとに次に来る単語を予測することで文章の生成を実現しました。

エンコーダー：テキストデータから文脈を学習し、分割された単語等のデータ(トークン)から特徴を抽出します。
デコーダー　：エンコードされたデータをもとに、直前の単語の次に来る単語を予測します。

このように便利な仕組みであるRNNですが、長い系列を記憶するのが苦手という課題があります。

長期依存関係を扱えないという制約があるため、長文の場合は、文章の体裁は保っているものの論点がズレていってしまい、文章全体で見るとテーマに一貫性のない内容となることがあります。
また、学習したデータの内容や量によっては、文章構成がパターン化されることで延々と同じ文が繰り返し生成されてしまうことがあります。

Attention

Attention（アテンション）は”注意”という意味の英単語です。
AI用語としては、単語同士を関連づけたり重要度を設けたりすることで、正しい順番で文章が構成されるようになります。
特定の単語に”注意”する仕組みと捉えると理解しやすいですね。

機械翻訳を例にすると理解しやすいと思います。
日本語と英語とでは文法が異なるので、単語が使用される順番も異なってきます。
しかし単語間の関連を学習する仕組みを経ることで、デコードの精度が向上し意味の通じる文章を出力することができるのです。

Transformer

Transformer（トランスフォーマー）は、現在多くのLLMに採用されているアーキテクチャ（論理構造）です。
Attentionが強化されたことや、RNNを使用せず別の方法でエンコード・デコードを実行していることが大きな特徴です。

Transformerでは、前項のAttentionの内容に加えてSelf-Attention（セルフアテンション）と呼ばれる仕組みも存在します。
前項のAttentionは、日英翻訳のように異なる言語間で行われていた処理でした。
対してSelf-Attentionは、同一の言語内での関連づけになります。

例として『モデル』という単語に注目してみましょう。
モデルという単語には、当記事のように言語モデルを示す場合もあれば、ファッションモデルのことを指す場合もあります。
Self-Attentionによる関連付けで、このように複数の意味をもつ単語も文脈に沿った使い方ができるようになるのです。

Attentionの処理を何度も実行することをMulti-Head Attention（マルチヘッドアテンション）と呼びます。
Multi-Head AttentionによりAIが文章のつくりを理解し、表現の質を更に向上させることに成功しました。

また、RNNを使用しないことで、データ処理効率が飛躍的に上昇しました。
膨大なテキストデータを扱うLLMにとっては、極めて重要な要素と言えるでしょう。

LLMの種類

BERT

BERT（Bidirectional Encoder Representations from Transformesrs）は、グーグル社が2018年に発表し、Transformerのエンコーダー部分のみを使用したLLMです。
文章の先頭・末尾の双方からエンコードを実行するという処理が特徴です。
文脈の理解に適した方式のため、テキストの分類や翻訳にて高い処理能力を発揮します。

GPT

GPT（Generative Pre-trained Transformer）は、Transformerのデコーダー部分のみを使用したLLMです。
ChatGPTに利用されているモデルということで有名ですね。
Transformerの特長を活かして大量のデータを学習し、直前の単語をもとに次に来る単語を予測することに特化して構築されたモデルです。
文章生成に適した仕組みなので、長文の要約や物語の生成に向いています。

LaMDA

LaMDA（Language Models for Dialogue Applications）は、グーグル社が2021年に発表したLLMです。
ユーザーとの自然な対話の生成に重きを置いており、「AIに意識はあるのか」という点で議論の的になったモデルです。
同社の対話型AIアシスタントサービス『Bard』に搭載されていることで有名です。

PaLM

PaLM（Pathways Language Model）は、グーグル社が2022年に発表したLLMです。
先述したTransformerをベースにグーグル社が開発した『Pathways』と呼ばれる言語学習技術を使用しています。

圧倒的な単語学習数を実現したモデルで、複雑な言語理解を特長とした汎用モデルです。
検索機能の補助やGmailでの自動返信など、自社サービスの充実化に役立てています。

また、PaLMの学習データをもとに医療分野への適性に特化したLLM『MedLM』が2023年に発表されています。
汎用性の高さを活かした今後の展望にも期待したいですね。

LLaMa

LLaMA（Large Language Model Meta AI）は、Meta社（旧Facebook）所有企業のMeta AI社が2023年に発表したLLMです。
LLMとしては比較的小さなデータサイズでありながら、他LLMに負けない性能の高さであることが大きな特長です。
また、後継バージョンのLlama2以降ではオープンソースとしており、ユーザーのニーズに沿ってカスタマイズが可能です。

LLaMaはAIアシスタントサービス『Meta AI』にも搭載されています。
これはFacebookやInstagram等の、Meta社の各サービスにて音声アシスタントが実装されているサービスになります。
残念ながら日本語未対応ですが、LLaMaがオープンソースであることに注目し日本語能力の拡張版を開発する国内企業もあります。
今後の対応言語や用途の拡大に大きな期待が寄せられているLLMのひとつと言えるでしょう。

LLMの活用例

カスタマーサポート

LLMを利用したチャットボットで、顧客からの問い合わせに対応することができます。
問い合わせに対して意図や要望を汲み取った上で、よくある質問やトラブルシューティングから最適な内容を選択して回答するという使い方がされています。

ローカライズ

LLMの関連サービスで言語の翻訳が可能であることは先述した通りです。
現在は更に便利に進歩しており、国・地域特有の方言やスラングを理解して回答することも可能なサービスがあります。

コードの自動生成

AIアシスタントに内容や条件を指示するだけで、プログラムコードを生成させることができます。
また、自分が作成したコードのバグチェックも可能ですので、作業の効率化に大きく寄与できます。

LLMの課題

ハルシネーション

ハルシネーション（Hallucination）とは、ユーザーの指示に対してAIが事実とは違った回答を生成してしまうことです。

幅広い知識をもち全幅の信頼を置いてしまいそうになるLLMですが、その回答を生成する仕組みに注目しましょう。
LLMは、あくまでその言語モデルによって『適切であろう答え』を計算・予測して返しているだけなのです。
自然な対話ができますが、人間のように論理的に思考して回答しているわけではありません。

そのため、LLMを用いたサービスを利用する際は、生成された答えを鵜呑みにするのではなく、一度人間の手で精査することが大切です。
様々な作業の補助をしてくれるサービスといった捉え方で活用することが望ましいですね。

プロンプトインジェクション

プロンプトインジェクション（Prompt Injection）とは、AIの仕組みを悪用する例の1つです。

柔軟な回答を生成する近年のAIですが、その特性を利用し開発者が意図しない情報を引き出すことができてしまいます。
プログラムされた制約をユーザーの指示によって無効化し、不適切な内容や機密情報が流出した事例があります。

プロンプトインジェクションは、LLMの追加学習やフィルタリング等によりセキュリティを向上させることで対策ができるとされています。
開発者・ユーザー双方の安全安心のためにも、これらの脆弱性への対策は不可欠なものとなっています。

LLMで実現する未来

現在、数多くの企業がLLM開発に参入し、応答速度の向上や学習データ規模の拡大が進んでいます。
多種多様なシーンで活躍しているLLMを用いたAIですが、更なる技術の発展が予想されます。

誰もが安心してLLMを活用できる世の中へ

課題として述べた回答精度やセキュリティの脆弱性について、対策が整備されつつあります。
これまで以上に誰もが安心してLLMを活用できる世の中になることが期待できそうですね。

言語の壁の解消

翻訳に関する技術の発展が進むと、多言語でのコミュニケーションが容易になります。
世界中の人々が、使う言語や居住地域を問わずAIを活用できる未来が訪れる日も近いかもしれませんね。

まとめ

いかがだったでしょうか？
AIを利用したシステムの導入をご検討の際は、システム・ケイまでお気軽にご相談ください！