生成AIを使い続ければ、誰でも「上達」するのか

生成AIを使い続ければ、誰でも「上達」するのか

元論文：Adopt $\neq$ Adapt: Longitudinal Analyses of LLM Conversations in the Wild

今回の研究は、生成AIを使い始めたユーザーが、時間の経過とともに使い方を変えていくのかを検証したものです。

論文によると、既存の研究では「人々が生成AIを何に使っているか」という活用の実態は多く扱われてきた一方、個々のユーザーが経験を積むことで、プロンプトの複雑さ、成功率、利用の目的、活用の領域などがどのように変わるのかはあまり検証されていないと指摘されています。

研究の方法

主な分析対象となったのは、2024年1月1日から2024年9月30日までの、英語インターフェースにおけるMicrosoft Bing Copilotの会話ログです。
著者らは、4月1日以降に初めて現れたユーザーを新規ユーザーに近いものとして扱い、分析しています。

今回の研究では、データは大きく以下の2種類に分けられました。

1. 集団全体の傾向を見るためのデータ（population dataset）
   4月1日から9月30日までの各日付ごとに、約1,000種類の会話をランダムに抽出し、合計175,061種類の会話、796,838個のメッセージを分析しています。
2. 個々のユーザーの変化を見るためのデータ（user dataset）
   活動日数に応じてユーザーを3つのグループ（層）に分けたデータで、合計11,905人、812,650種類の会話、4,879,568個のメッセージを含むデータセットが作られました。
   ユーザーは、活動日数1〜10日の「低活動層」、11〜25日の「中活動層」、26日以上の「高活動層」に分類されています。

また、比較対象として、公開データセット「WildChat-4.8M」でも同様の分析が行われました。
ただし、これはBing Copilotの匿名IDよりもユーザーの同定の信頼性が低いと著者らは述べています。また、WildChatでは後半にテンプレート（のような仕組み）の利用が増えるため、主な分析対象は2024年9月以前の会話に限定されています。

結果

1. 集団全体でみると、生成AIの利用は複雑になっていた

Figure 1を見てみると、期間中にBing Copilotの1会話あたりのメッセージ数と言語の複雑さが、いずれも約1.5倍に増加したことが示されています（ピアソン相関：メッセージ数でR = 0.90、文章の長さでR = 0.86、p < 0.05）。
つまり、集団全体として見ると「より長く、より複雑なやり取り」が増えていたことが示唆されました。

また、Figure 2を見てみると、タスク完了率も時間とともに上昇していることが読み取れます。ただし、WildChatではもともとのタスク完了率が高かったため、変化の大きさ自体はあまり目立たない結果となっています。

タスクの種類も確認してみると、Bing Copilotでは以下のような変化がありました。

• 情報収集：最初の10日間は12.7%であったのに対し、最後の10日間では19.2%に増加
• テキスト生成：最初の10日間は 6.1%であったのに対し、最後の10日間では11.6%に増加
• 単純な検索：最初の10日間は62.4%であったのに対し、最後の10日間では49.2%に低下
• ウェブサイトの移動：最初の10日間は5.3%であったのに対し、最後の10日間では1.7%に低下

2. 生成AIをよく使うユーザーは、最初から使い方が違っていた

Figure 4を見てみると、活動日数が多いユーザーほど、1日あたりの会話数・メッセージ数が多く、さらに文章も長いことが読み取れます（ピアソン相関：1日あたりの会話数でR = 0.91、1会話あたりのメッセージ数でR = 0.75、文章の長さでR = 0.88）。

加えて、活動日数が多いBing Copilotユーザーほどタスク完了率も高くなる傾向がありました。タスクの種類ごとに見たときも、ウェブサイトの移動以外のタスクで同様の傾向があることが確認されています。

さらに、活動日数が多いBing Copilotユーザーほど、プログラミング、創作・編集、専門分野の文章の作成といった、より専門的・クリエイティブな用途で活用する割合が高いことも示唆されました。

著者らはこれらの結果から、「高活動層ユーザーの生成AIの使い方は、そもそも初期の段階から低活動層ユーザーとは異なっていた」と解釈しています。
つまり、「生成AIを長く使えば、誰でも高活動層ユーザーのようになる」とは限らないということです。

3. 個人単位で見ると、変化が比較的少なかった

ユーザーの利用期間を4分割し、最初の四分位と最後の四分位で活用状況がどう変わるかを分析した結果、Bing Copilotユーザー全体で見ると1会話あたりのメッセージ数が+55.9%、文長が+30.9%、完了率が+6.6%増加していましたが、個人レベルで見ると変化量は小さくなっていました。

つまり、同じ人の使い方が徐々に上達していったというよりは、新しく入ってくるユーザーの性質が変わったり、もともと高度な使い方をする人が増えたりしたことが、集団全体の平均を動かした可能性があるということです。

4. WildChatは「一般ユーザー」を反映していない可能性がある

Figure 6のJSダイバージェンスを見てみると、WildChatと低活動層Bing Copilotユーザーの距離は意図分布で0.34、ドメイン分布で0.28でした。一方、高活動層Bing Copilotユーザーとの距離は、意図分布で0.26、ドメイン分布で0.19となっており、比較的距離が近くなっています。

この結果から、論文では「WildChatの平均的ユーザー層は、Bing Copilotの低活動層ユーザーよりは高活動層ユーザーに近い」と報告されています。

注意点

• Bing Copilotのデータは2024年1月1日から9月30日までに限定されおり、WildChatについても主に2024年9月以前の会話に限定されています。そのため、他の生成AIサービス、他の時期、他の言語圏にそのまま適用できるとは限りません。
• タスク完了率や文章の長さは、ユーザー満足度やタスクの高度さを反映したものではありません。

---

調剤薬局でも、知識の共有が必要

生成AIに限った話ではないですが、調剤薬局のようにチームで仕事をする現場では、知識やノウハウをメンバー内で共有できる状態にしておくことが望ましいと私は考えています。
仮に特定のスタッフにしかできない（知らない）ことが多いと、そのスタッフが不在の時に業務に支障が出る可能性があり、場合によっては薬局の信頼に傷がつく可能性があるからです。

この考え方に関連して、調剤薬局で生成AIを活用する場合も、各スタッフの使い方や実際の事例を知識として共有できた方が、生成AIに慣れていないスタッフが生成AIを活用しやすくなると考えられます。

それに加えて、「個人情報は入力しない」「ハルシネーションに注意する」といった注意事項も共有できると、より安全な生成AIの活用につながるでしょう。

私も「簡単に使えるので、まずは使ってみましょう」と言いますが

ChatGPTやGeminiなどの有名どころの生成AIは、アカウントさえ作れば無料で使い始めることができます。なので私も「簡単に使えるので、まずは使ってみましょう」と言うことがありますが、本格的に自分の生活や仕事で役立てようと思った場合、自分の力だけでは有用な生成AIの活用法にたどり着かない可能性があることが今回の研究で示唆されました。

「インターネットにいくらでも情報が転がっている」と言われればその通りなのですが、最近の生成AIをはじめとしたツールは非常に多機能になったため、ここ最近のWebサイトやブログ、SNSに掲載される情報は高度で洗練された使用例が中心で、逆に生成AIに対して苦手意識がある方が必要としている情報は以前よりも発信されにくくなっているように感じます（個人の感想です）。

今回の論文を読んで私が感じたのは、生成AIで複雑なタスクがこなせる時代だからこそ、身近な成功体験や基本的な機能の使い方を発信していくことが大切であるということです。
なので今後は「薬剤師のためのAIノート」でも、このような情報を積極的に発信していきたいと思います。