• 2020年07月10日(金) 10:30 ~ 17:30

１．BERTの基礎

　BERTはSelf－Attentionを利用して、入力単語列を単語埋め込み表現列に変換します。各単語埋め込み表現が文脈に依存した埋め込み表現となっていることが、word2vecなどから得られる単語埋め込み表現とは大きく異なります。ここではまず基本となるSelf－Attentionについて解説します。Self－Attentionでは単語の位置の情報が消えてしまいますが、位置の情報を保持するために導入されたPosition Embeddingを次に解説します。次にSelf－Attentionを発展させたMulti－Head－Attentionという構造を解説します。BERTの学習にはタスクが必要ですが、BERTのタスクであるNext Sentence PredictionとMasked－Language Modelを説明します。

　　（１）．事前学習モデル

　　（２）．BERTの入出力

　　（３）．Self－Attention

　　（４）．Position Embedding

　　（５）．Multi－Head－Attention

　　（６）．学習対象となるタスク

２．transformersの利用

　BERTモデルの構築プログラムはTensorFlowで書かれているために、公開されているモデルもTensorFlowのモデルです。そのためBERTモデルを利用するには基本的にTensorFlowを利用します。ただTensorFlowは扱いづらく、KerasやPyTorchを利用できれば簡単です。HuggingFaceはtransformersというBERTをPyTorchで扱うためのライブラリを提供しており、これを使えばBERTを容易に利用することができます。ここでは、まずTensorFlowのBERTモデルをPyTorchのBERTモデルに変換する方法を示します。次にPyTorchのBERTモデルを使ったプログラム例を示します。

　　（１）．transformersとは

　　（２）．TensorFlowのBERTモデルをPyTorchのBERTモデルへ変換

　　（３）．モデルの読み込み

　　（４）．tokenizerの設定

　　（５）．fine－tuningの方法

　　（６）．プログラム例

３．DistilBERT：BERTの軽量化

　BERTの欠点としてモデルの巨大さがあります。標準モデルであってもパラメータ数は約１億１千万個もあり、学習には多大な計算機資源を要します。また構築できたモデルを利用する場合でも、その処理は重たいです。DistilBERTは、BERTを軽量化する手法の１つです。基本的にディープラーニングの「蒸留」という手法を利用して軽量化を試みています。ここでは「蒸留」という手法を説明した後に、DistliBERTのモデルを説明します。またDistliBERTのモデルの構築には「蒸留」もとのBERTモデルを必要とし、そのモデルを使ってDistliBERTのモデルの初期値を設定できます。この仕組みを使って、少量のコーパスから専用の軽量版BERTモデルを構築する方法を解説します。

　　（１）．蒸留 （Distillation）

　　（２）．DistliBERTのモデル

　　（３）．DistliBERTの初期値設定

　　（４）．DistliBERTの学習

　　（５）．DistliBERTモデルの利用

４．BERTの活用例

　BERTは様々な自然言語処理のステムに利用できます。GLUEという自然言語処理システムのベンチマークデータセットがありますが、そこで提供されいてる中でSST－2（極性分析）とMNLI（含意関係認識）とSQuAD（質問応答）を紹介し、BERTを用いてどのように解くのかを示します。またBERTへの入力は基本的に１文あるいは文のペアですが、文書を入力とした文書分類へも応用できます。文書の入力に対する手法を解説し、文書分類へのBERTの利用法を示します。

　　（１）．GLUE

　　（２）．SST－2（極性分析）

　　（３）．MNLI（含意関係認識）

　　（４）．SQuAD（質問応答）

　　（５）．文書分類

日本テクノセンター研修室