2024年01月18日(木)

BERTとは？Googleが開発した自然言語処理技術の特徴と仕組み

• 0
• 1
• 0
• 1

2018年10月、Googleは最新の自然言語処理モデル「BERT」を発表し、翌年10月に自社の検索エンジンへ採用しました。自然言語処理はAmazon EchoやLINE ClovaといったスマートスピーカーやDeepLなどの高精度翻訳ツールの登場により広く一般家庭でも活用されてきました。そのなかでもBERTは革新的な技術として注目を集めているモデルです。本記事では、BERTの特徴と仕組み、生成AIとの関係について解説します。

参考：【ChatGPTとSEO】記事自動生成は有効か？AIライティングでCVはするのか？実験結果とChatGPT（プロンプト）によるSEO活用術8つ

BERTとは

BERTとは、2018年10月にGoogleのJacob Devlinらが論文で発表した自然言語処理モデルです。「Bidirectional Encoder Representations from Transformers」の頭文字から命名されており、日本語では「Transformerによる双方向のエンコード表現」と訳します。

BERTの最大の特徴は「文章を読めるようになった」点にあります。以前の自然言語処理では前後一方から学習するモデルが主流であり、文章...