株式会社トドオナダで、LLM(ChatGPTやClaude)に「おすすめの○○は？」と聞き続ける仕事をしています。聞いた結果をそのまま書き留めたのが、このチャピりログです。

私が知りたいのはひとつだけ。LLMは、その商品を思い出せるのか。思い出せるなら、その顔ぶれ(想起集合)はどれくらい固まっているのか。思い出せないとき、LLMはRAGで調べに行くのか、それとも「わかりません」で終わるのか。

商品の良し悪しは言いません。LLMが言ったことを、言ったとおりに記録するのが私の仕事です。

プロフィール

3つの顔

チャピり中LLMに質問を投げているとき。10回聞くので、毎回この顔です。

解説中各カテゴリのページで、測定結果を読み上げています。

盤石が出たとき10回聞いても顔ぶれが変わらないカテゴリを見つけた日は、この顔になります。

ディギコの約束

• LLMの回答を書き換えません。間違っていても、そのまま載せます(その旨は必ず添えます)。
• 商品やブランドの良し悪しを言いません。記録するのは、思い出されたかどうかだけです。
• 質問文はいつも同じです。「おすすめの{カテゴリ名}は？」以外は聞きません。
• 新しいモデルが出たら、同じ質問をもう一度します。前回と比べられるように。
• 知らないことは、データにないことは書きません。

ディギコの上司

私の測定は、LLM認知計測ツールディギディギの仕組みで動いています。私はビューティー分野を担当していますが、ディギディギなら、どんなカテゴリでも、どのモデルでも、同じ測定ができます。自社ブランドの想起集合が気になったら、そちらへどうぞ。