UB Researchチームでインターンをしている町田です。
数ヶ月前に、GMOインターネットグループ株式会社さんが提供しているConoHa for AIのトライアルというものに申し込んだところ、このたび8月1日から25日までH100を搭載したマシンを無料で利用することができました。
今回はその環境でおこなった、生成系LLMをファインチューニングする実験について紹介します。
概要
ユーザベースの提供する営業DXソリューション「FORCAS」では、2023年7月20日より生成AIを活用した企業課題を特定する「AI企業課題サジェスト」機能を提供開始しました。FORCASの持つ豊富な企業情報と大規模言語モデル（以下、LLM）を組み合わせて、ターゲット企業が抱えているであろう課題を具体的に提案し、ユーザの迅速な顧客課題の特定を可能にしています。
ただし、本機能によって生成するテキストは今後膨大な件数となることが予想され、また多様なデータを使っての出力を更新することを想定すると、商用LLMサービスのAPI利用コストが嵩むことが懸念されます。また、現在は企業に係る課題を提示する機能ですが、ゆくゆくは企業課題の解決に向けたアプローチも提示するような機能へと発展させたいと考えています。
そこで、自社独自のLLMを開発し、商用APIの一部を再現・最適化させることを目的として、AI企業課題サジェスト機能の出力データを学習データに、オープンソースのLLMを自社で追加学習し、その性能を確かめる実験を行いました。
実験内容
実験環境
本実験では、実験環境としてGMOインターネットグループ株式会社が提供する、NVIDIAの最新GPUを搭載したGPUホスティングサービス「ConoHa for AI」のうち、生成AIやLLMに特化した最大メモリ容量80GBの「NVIDIA H100 Tensor コア GPU」を利用しました。
ベースモデル
また、ベースモデルは2023年5月に株式会社サイバーエージェントから公開された日本語LLM「OpenCALM-7b」を採用しました。OpenCALM-7bはパラメータ数が68億で、学習データはほぼすべて日本語データとなっており、日本語に特化したLLMであることが特徴です。商用利用可能なCC BY-SA 4.0ライセンスで提供されておりますが、ファインチューニング済みのモデルではないため、実際の利用の際にはファインチューニングが必要となります。
チューニング手法
ファインチューニングの手法として、本実験では、LoRaによるファインチューニングを採用しました。LoRaは効率的なファインチューニング手法の一つで、ベースモデルに対し、低ランクの差分行列を用意し、差分行列のパラメータを学習する手法となっています。これにより、学習パラメータを大幅に減らしながら、アダプター型と呼ばれる追加学習手法よりも効率的な学習を可能にしています。
ハイパーパラメータとインストラクション
本実験では、いくつかのハイパーパラメータの組み合わせを用意し、それぞれを独立に学習させました。用意したパラメータセットは以下の通りです。
LORA_R=(3, 10, 50) # 低ランク行列のランク LORA_ALPHA=(8, 16, 32) # LoRaのスケーリングファクター LORA_DROPOUT=(0.01, 0.05) # LoRaのドロップアウト率 LEARNING_RATE=(3e-4, 3e-1) # 学習率
また、ターゲット企業の企業情報から、ターゲットの3つのrole（人事部長、情報システム部長、営業部長）抱えているであろう課題をそれぞれ出力する目的で以下のようなインストラクションを用いました。
"{sample['role']}が抱えていそうな課題を、以下の入力文から読み取り、3つ挙げてください。各出力の冒頭は 1. 2. 3. とし、一行目にサマリを、二行目に参照箇所や補足情報を書いてください。各出力の間は一行空けてください。”
結果
ここでは、テストデータに対して学習後のモデルが出力したレスポンス結果の一部を示していきます。
（情報システム部長が抱えていそうな課題に対するレスポンス）
1. デジタル化への対応 デジタル化が急速に進展している中で、情報システム部門はデジタル化に対応する必要があります。しかし、デジタル化には多くの課題があり... 2. データ活用の促進 経営環境の変化に伴い、データの活用が重要視されています。情報システム部門は、データの収集・分析・活用を通じて、経営の意思決定を支援する必要があり... 3. セキュリティ対策の強化 情報システム部門は、企業の重要な情報資産を保護するためのセキュリティ対策を強化する必要があります。特に、個人情報や機密情報の保護は重要な課題です。また... 4. デジタルトランスフォーメーションの推進 経営環境の変化に伴い、デジタルトランスフォーメーション(DX)の必要性が高まっています。情報システム部門は、デジタル技術を積極的に活用し、業務プロセスやビジネスモデルの変革を推進する必要があります。しかし... 5. データガバナンスの強化 経営環境の変化に伴い、データの活用が重要視されています。情報システム部門は、データの収集・分析・活用を通じて、... ... ... ...
こちらは学習後のテストデータの推論において、モデルが出力したレスポンスの一例です。インストラクションでは、課題を3つまで挙げよと指定しましたが、いずれの実験結果においてもちょうど3つの課題を示したレスポンスはなく、10以上の課題をあげるものが散見されました。これはモデルに対して与えたmax_new_tokens=4096が大きすぎたためと考えられます。
また、ハイパーパラメータにおいて、LEARNING_RATE=3e-1としたモデルに関してはすべてのレスポンスがnullとなって出力され、正しく学習が行われないことが分かりました。
（情報システム部長が抱えていそうな課題に対するレスポンス）
1. サイバーセキュリティの強化 情報セキュリティの重要性が高まっており、サイバー攻撃の脅威も増しています。特に、新型コロナウイルスの影響によりリモートワークやオンライン学習が増加しているため... 2. データセキュリティの強化 データの保護と活用が重要視されています。しかし、データの保護や管理には多くの課題があります。例えば、機密情報や個人情報の漏えい、システムの誤作動や破壊、不正アクセスなどのリスクがあり... 3. デジタルトランスフォーメーションの推進 デジタル技術の活用がビジネスの成長に欠かせない要素となっています。情報システム部では、デジタルトランスフォーメーションを推進するために、クラウドやAIなどの最新テクノロジーの導入やデジタル化の推進が... ... ... ... ### 出力: 1. サイバーセキュリティの強化 情報セキュリティの重要性が高まっており、サイバー攻撃の脅威も増しています。情報システム部では、セキュリティ対策の強化や従業員の教育・訓練など、サイバーセキュリティの強化に取り組む必要があり... 2. データセキュリティの強化 データの保護と活用が重要視されています。情報システム部では、データの保護や管理に多くの課題があります。例えば、機密情報や個人情報の漏えい、システムの誤作動や破壊、不正アクセスなどのリスクがあり... 3. デジタルトランスフォーメーションの推進 デジタル技術の活用がビジネスの成長に欠かせない要素となっています。情報システム部では、デジタルトランスフォーメーションを推進するために、クラウドやAIなどの最新テクノロジーの導入やデジタル化の推進が... ... ... ...
このように出力が繰り返し行われる例も散見されました。こちらは、repetition_penalty=1.05が小さすぎたことが原因と考えられます。
（人事部長が抱えていそうな課題に対するレスポンス）
1. 人材の多様性の確保と育成 経営方針の中で、多様な人材の能力と個性の積極的な発揮を促す風土を醸成し、成長と誇りを実感できる企業を目指すと述べられています。しかし... 2. ワークライフバランスの改善 経営方針の中で、働く環境の整備や労働時間の短縮に取り組むと述べられています。しかし... 3. ダイバーシティ&インクルージョンの推進 経営方針の中で、女性や外国人などのマイノリティの従業員の活躍を推進することが述べられています。しかし... 4. モチベーションの向上 経営方針の中で、従業員のやる気を引き出すことが求められています。しかし... ... ... ...
こちらは、入力の企業情報とレスポンスに乖離がある例です。レスポンス中の1~4において「経営方針の中で述べられている」もののうち、実際に入力で述べられているものは1のみであり、2~4に関しては入力データでは触れられていません。
一方で中には、正解データと推論の結果が極めて似た結果を示したものもあります。
（人事部長が抱えていそうな課題の正解データ）
1. 人材の確保と育成 経営環境の厳しさや競争の激化により、優秀な人材の確保が難しくなっています。また、持続可能な社会の実現に向けた取り組みや... 2. 労働環境の改善 従業員の健康や働きやすさは、生産性やモチベーションに直結します。しかし、厳しい経営環境や働き方の多様化により、労働環境の改善が求められています。具体的には、労働時間の適正化、... 3. 多様性と包括的な組織文化の構築 持続可能な社会の実現には、多様な人材の活躍が不可欠です。しかし、組織内においては、性別や年齢、国籍などの多様性を尊重し、...
（同入力に対する学習後モデルのレスポンス）
1. 人材の確保と育成 経営環境及び対処すべき課題の中で、人材の確保と育成が重要な課題とされています。しかし... 2. 労働環境の改善 経営環境及び対処すべき課題の中で、労働環境の改善が重要な課題とされています。特に、<span style="color: #ff0000">小売業においては</span>、長時間労働や休日出勤が恒常化しており... 3. ダイバーシティ&インクルージョンの推進 経営環境及び対処すべき課題の中で、ダイバーシティ&インクルージョンの推進が重要な課題とされています。多様性や個性を尊重し... ...
両者を比較すると、抽出された課題が正解データとほぼ同じレスポンスとなっており、さらには入力した企業情報から小売事業を抱えた企業であることを特定し、それを踏まえたレスポンスを生成していることが分かります。（モデルレスポンスの2つめの課題文中）
また、これまでのレスポンスを振り返るといずれもターゲットとなる役職を想定したレスポンスが生成できていることも分かります。
考察
文章生成という観点で見ますと、いずれも課題として挙げられた最初の数項目に関しては、しっかりとした文章が生成されている一方で、中には内容が長くなるにつれて、おかしな文章が生成されてしまう例などもあり、特に表データのような入力を含むと精度が悪化する傾向が見受けられました。
また、内容の観点で見ていきますと、データよっては入力となる企業情報をあまり踏まえられていないレスポンスが存在し、本実験の目的と照らし合わせると、各社固有の事情や業界にまで触れられたレスポンスを得られることが望ましく、事前学習データの中での言及頻度が関係している可能性が考えられます。
ただし、全体的にはターゲットとなる役職を踏まえたレスポンスが生成されていることが分かりました。
展望
今後の課題として、一つに根拠を捏造しないような工夫を入れることが挙げられます。今回の実験ではデータに応じて、入力とレスポンスの内容に乖離がありました。そこで、今後は出力結果に対し、「どこを根拠としているか」といった聞き返しをするなどの実験デザインの工夫をすることが期待されます。
また、今回の学習では、「課題を3つ挙げよ」というインストラクションに対し、正しく3つの課題を回答したものはほとんどありませんでした。したがって、繰り返しを抑制したり、学習データやレスポンスの出力において3項目の後にend of sentenceなどの終了を促す工夫を施す必要があると考えられます。
さらには、今回はベースモデルとしてサイバーエージェント社のOpenCALM-7bを採用しました、別の公開モデルを採用した場合に結果がどう変わるかを調べることも期待されます。
おわりに
UB ResearchではLLMを用いた経済データに関する研究などをおこなっております。ご興味があれば他のブログ記事もぜひご覧ください。
