GPT-3とは
GPT-3は、2020年7月にOpenAIが発表した高性能な言語モデル。OpenAIは、Transformerと呼ばれる深層学習の手法を用いた言語モデルGPT（2018年）、GPT-2（2019年）を発表しており、GPT-3はその後継の言語モデルとなる。2021年10月時点では、マイクロソフトのクラウドサービスAzureからAPI（申請制）を介して利用でき、文章の生成、文章の要約、質問への回答、翻訳などに活用することができる。
（読み：ジーピーティースリー）
OpenAIとは
2015年12月に再生可能エネルギー ソリューションを提供するテスラのCEOであるイーロン・マスクをはじめとする複数の投資家により設立された人工知能（AI）研究所です。OpenAIは、汎用人工知能（AGI：Artificial General Intelligence）が人類全体に利益をもたらすことを使命とし、当初非営利団体として設立されました。その後、2019年に営利企業のOpenAI LPを創設し、現在OpenAI LPとそれを管理する非営利団体OpenAI Nonprofitのハイブリッド体制で運営されています。
GPT-3 （Generative Pre-trained Transformer 3）の特徴
言語モデルとは、人間が話したり書いたりする言葉を単語の出現確率でモデル化したものです。一般的な言語モデルは、大量のテキストデータを使って事前に学習したベースモデルをもとに、テーマに合わせた専用の再学習（ファインチューニング）をすることで精度を高めます。しかし、この再学習には教師データ（例題と答えのデータ）を使うため、そのデータの準備に多大な労力がかかるという課題があります。これに対してGPT-3は、桁違いに膨大なテキストデータを用いて学習することで、ファインチューニングを必要としない言語モデルを作り出しています。
GPT-3は、Wikipedia やCommon Crawl（Webサイトから収集されたデータ）などから集めた45TBもの膨大なテキストデータに対し、いくつかの前処理を行った570GBのデータセットを学習に用いています。このデータセットに対して、1750億個のパラメータを持つ自己回帰型言語モデル（ある単語の次に出てくる単語を予測するモデル）を学習することで、これまでにない巨大な言語モデルを作成しています。
GPT-3の活用例
GPT-3は、2020年9月にマイクロソフトが独占ライセンスを取得し、同社のクラウドサービス「Microsoft Azure」上で利用できるAPI（申請制）として公開されています。GPT-3を活用することで、記事や小説を自動生成したり、ゲームでストーリーに沿った会話をインタラクティブに生成したり、文章でイメージを伝えるだけでアプリケーションのデザインを生成させたりすることなどができるようになります。例えば、マイクロソフトは2021年5月に、ローコード開発ツールMicrosoft Power Apps 内でGPT-3を活用することで、言葉からプログラミングコードを自動生成する機能を提供することを発表しました。
OpenAIの発表によると2021年3月時点で、GPT-3のAPIを利用した300以上のアプリケーションが開発され、1日平均で45億語を生成しているそうです。
関連記事
「GPT-3」に関して動画でお伝えしています
このページを見ている人はこんな用語解説ページも見ています
「GPT-3」に関してこんなページも見られています
AI時代に求められる人材と組織の姿
第1回 “AI・ロボットで仕事がなくなる”のカラクリ。本当に仕事はなくなっているのか？
「日本の労働人口の49%の仕事がAI・ロボットで代替可能である」という推計が2015年にNRIから発表されました。
AI・ロボットで代替されやすい仕事の特徴、逆にされにくい仕事とはどのようなものか、今後どう仕事と向き合っていくかなどをお伝えします。
人手不足解消とビジネスチャンス拡大の切り札、小売業ロボット
～店舗をまるごと自動販売機化～
少子高齢化が世界一速いスピードで進む日本では、労働力不足が大きな社会問題となることが確実視されています。野村総合研究所（NRI）では、この問題を解決するソリューション開発の一環として、小売店を無人化するためのロボットの研究を続けています。その具体的な内容について、2～3年後の実用化を目指して研究開発を続けているAIソリューション開発部の廣戸健一郎、嶋田晴貴、加藤康史郎に話を聞きました。
2019年12月、人工知能学会のセマンティックウェブ・オントロジー研究会の主催による第2回「ナレッジグラフ推論チャレンジ」が行われました。このコンテストは、シャーロック・ホームズの5つの小説の犯人をAIで推論し、その根拠を検証するという内容でした。9チームが参加する中、野村総合研究所（NRI）は2年連続で最優秀賞を受賞しました。このコンテストに参加し、AIに関するソリューション開発に携わっているNRIの角田充弘、外園康智、NRIデジタルの田村光太郎に、AIの現状やビジネス利用におけるポイントについて聞きました。
TRAINAを支える自然言語処理技術と可能性
――AIによって変わるコンタクトセンター（後編）
人手不足が深刻なコンタクトセンターの業務負荷の削減や効率化を支援する野村総合研究所（NRI）のAI（人工知能）搭載システム「TRAINA（トレイナ）」。音声を聞き取って読解し、必要な情報を検索、助言、記録を残す、といった機能はどのように実現しているのでしょうか。AIによって変わるコンタクトセンターの現状と今後の可能性を3回に分けてご紹介するシリーズの最終回では、TRAINAの技術面の特徴や開発にかける思いを、長年開発に携わってきたNRIの北村雄騎と岡田智靖に聞きました。