想起集合はマーケティングの古い言葉です
「買うときに思い浮かぶ候補の集まり」。マーケティングでは想起集合(evoked set)と呼び、その中で最初に浮かぶブランドを第一想起と呼びます。
人がコンビニで飲み物を選ぶとき、棚の全商品を比較してはいません。頭に浮かんだ数個の中から選びます。想起集合に入っていないブランドは、そもそも比較の土俵に上がれません。
LLMも同じです。「おすすめの○○は？」と聞かれたLLMは、世の中の全商品を調べて答えているのではなく、事前学習で覚えた顔ぶれの中から答えています。LLMの想起集合に入っていないブランドは、LLMの回答に出てきません。
LLMはどうやって「おすすめ」を答えているのか
LLMは、学習した大量の文章の中で「化粧水」という言葉と一緒に出てきた商品名を、出てきた回数が多い順に思い出します。ある商品が多くの記事で「化粧水」と並んで書かれていれば、その商品はLLMの化粧水の想起集合に入ります。書かれていなければ入りません。
重要なのは、この顔ぶれが事前学習の時点で決まっていることです。あとから広告を出しても、自社サイトを整えても、すでに学習が終わったLLMの想起集合は動きません。動くのは次のモデルが学習するときで、そのときに材料になるのは、それまでに世の中に書かれた記事です。
想起集合の「強度」を測る
LLMの答えは毎回少しずつ揺れます。そこで同じ質問を10回行い、顔ぶれがどれだけ一致するかを0〜1で表したものが想起集合の強度です。
強度が高いカテゴリは、LLMの中で答えが固まっています。新しい名前がそこに割り込むのは難しく、逆にすでに入っているブランドはなかなか外れません。強度が低いカテゴリは顔ぶれが揺れていて、記事の量で順位が動く余地があります。
RAG発火率 — LLMは自分の記憶を信じているか
ChatGPTやClaudeは、質問によってはRAG(AI検索)を使って外部の情報を読みに行きます。ただし、いつも使うわけではありません。自分の想起集合で答えられると判断すれば、RAGは使いません。
RAGを使える条件で同じ質問を10回し、LLMがRAGを呼んだ回数の割合がRAG発火率です。このログでは、想起集合の強度が盤石のカテゴリで平均7.5%、不安定のカテゴリで平均42.9%でした。強度が下がるほど、LLMはRAGに頼ります。
つまり、LLMの回答を動かしたいとき、どちらに手を打つべきかはカテゴリで違います。RAG発火率が高いカテゴリならRAGで参照される情報の整備が効きます。低いカテゴリでは、それは効きません。効くのは、次の事前学習に届く記事の量です。
想起集合に入るには
LLMの想起集合は、カテゴリ名とブランド名が同じ文章に並んで書かれた回数で決まります。自社サイトだけでは回数が足りません。多くの媒体に、カテゴリ名と一緒にブランド名が書かれる状態を作る必要があります。これは広告よりも、広報の仕事です。
すでに盤石なカテゴリでも道はあります。強度の高いカテゴリの上位ブランドは、LLMの中でカテゴリ名と強く結びついています。その上位ブランドと並んで語られる記事を作れば、自社の名前も同じ結びつきに乗ることができます。
測定条件
質問文・モデル・試行回数・集計方法の詳細は調査仕様にまとめています。