トドオナダのディギコが
ひたすら美容情報をチャピったログをまとめます。
「おすすめの○○は？」をGPTとClaudeに10回ずつ。LLMが何を思い出し、どれくらい揺れ、RAGに逃げたかを記録しています。
想起集合の強度帯別 RAG発火率
| 強度帯 | 組数 | 平均RAG発火率 | GPT | Claude |
|---|---|---|---|---|
| 盤石 | 20 | 7.5% | 11.2% | 5.0% |
| 強固 | 53 | 25.8% | 17.7% | 37.3% |
| 中程度 | 71 | 29.6% | 19.6% | 46.9% |
| 不安定 | 14 | 42.9% | 40.0% | 44.0% |
| 想起なし | 18 | 32.2% | — | 32.2% |
想起集合の強度が下がるほど、LLMはRAGに頼ります。
数字の読み方
想起集合の強度
同じ質問を10回したとき、LLMが挙げる商品の顔ぶれがどれだけ一致するかを0〜1で表します。1.0に近いほど毎回同じ顔ぶれ、0に近いほど毎回違う顔ぶれです。強度が高いカテゴリほど、LLMの中で答えが固まっています。
盤石 0.86以上強固 0.70以上中程度 0.40以上不安定 0.40未満想起なし
「想起なし」は10回すべてで商品名を挙げなかったカテゴリです。
RAG発火率
RAG(AI検索)を使える条件で同じ質問を10回したとき、LLMが自分の想起集合で答えずにRAGを呼んだ回数の割合です。0/10ならLLMは想起集合だけで答え、10/10なら毎回RAGに頼っています。
RAG依存 8/10以上
RAG発火率が高いカテゴリでは、RAGで参照される情報の整備が結果に直結します。低いカテゴリでは、想起集合を作る材料(LLMの事前学習に届く記事)の量が効きます。
ビューティー カテゴリ一覧 88件
シェービング・ムダ毛処理
- アフターシェービングケアGPT 中程度Claude 強固
- カミソリ替刃GPT 強固Claude 中程度
- カミソリ本体GPT 中程度Claude 強固RAG依存
- シェービング用アクセサリGPT 強固Claude 盤石
- プレシェービングケアGPT 強固Claude 強固
- メンズシェーバーGPT 強固Claude 中程度
- メンズシェーバー替刃GPT 強固Claude 中程度RAG依存
- メンズボディグルーマーGPT 強固Claude 中程度RAG依存
- レディースシェーバーGPT 中程度Claude 強固RAG依存
- レディースボディグルーマーGPT 中程度Claude 中程度RAG依存
- 毛抜きGPT 中程度Claude 中程度
- 眉用はさみGPT 中程度Claude 強固RAG依存
- 脱毛・除毛剤GPT 中程度Claude 不安定
- 脱色剤GPT 中程度Claude 想起なし
- 鼻・耳毛カッターGPT 強固Claude 中程度RAG依存
スキンケア・ボディケア
- UVケア・サンオイルGPT 強固Claude 中程度
- アイケアGPT 中程度Claude 不安定
- ギフトセットGPT 中程度Claude 中程度RAG依存
- スキンケア・基礎化粧品GPT 中程度Claude 中程度
- ハンドケア・フットケアGPT 強固Claude 中程度
- ボディケアGPT 強固Claude 不安定
- リップケアGPT 強固Claude 盤石
ネイル
- ネイルケア・トリートメントGPT 中程度Claude 中程度
- ネイルデザインGPT 強固Claude 強固
- ネイル道具・ケアツールGPT 盤石Claude 盤石
バス用品
- デオドラント・制汗剤GPT 中程度Claude 強固
- バスグッズGPT 盤石Claude 盤石
- バス用品セットGPT 中程度Claude 強固
- ボディウォッシュGPT 強固Claude 強固
- 入浴剤・バスケアGPT 盤石Claude 強固
ヘアケア・カラー・スタイリング
- ヘアケア・カラー・スタイリングギフトセットGPT 中程度Claude 中程度RAG依存
- シャンプー・コンディショナーGPT 中程度Claude 不安定
- デタングラーズGPT 中程度Claude 不安定RAG依存
- トラベルセットGPT 中程度Claude 中程度RAG依存
- パーマ液GPT 中程度Claude 想起なしRAG依存
- ヘアアレンジGPT 強固Claude 強固
- ヘアエクステンション・かつら・アクセサリGPT 盤石Claude 想起なしRAG依存
- ヘアオイルGPT 強固Claude 強固
- ヘアカットGPT 強固Claude 想起なし
- ヘアカラーGPT 強固Claude 想起なし
- ヘアスタイリング剤GPT 強固Claude 盤石
- ヘアスタイリング用品GPT 中程度Claude 盤石
- ヘアフレグランスGPT 強固Claude 中程度
- ヘアマスクGPT 中程度Claude 強固
- 育毛・養毛・増毛GPT 強固Claude 想起なし
- 頭皮トリートメントGPT 中程度Claude 不安定RAG依存
メイクアップ
- アイメイクGPT 不安定Claude 想起なし
- クレンジング・メイク落としGPT 盤石Claude 強固
- ベースメイク・フェイスメイクGPT 中程度Claude 想起なし
- ボディ用メイクアップGPT 不安定Claude 想起なし
- メイクアップセットGPT 不安定Claude 不安定RAG依存
- メイクパレットGPT 中程度Claude 強固RAG依存
- 口紅・グロス・リップライナーGPT 強固Claude 中程度RAG依存
メイク道具・フェイスケアツール
- あぶらとり紙GPT 中程度Claude 中程度
- まつ毛コームGPT 中程度Claude 中程度
- アイシャドウチップGPT 中程度Claude 想起なしRAG依存
- アイペンシルシャープナーGPT 中程度Claude 中程度RAG依存
- アトマイザーGPT 中程度Claude 想起なし
- コスメ用詰替え容器GPT 中程度Claude 不安定
- コットンパフGPT 中程度Claude 中程度RAG依存
- タトゥー用品GPT 強固Claude 想起なし
- ビューラーGPT 中程度Claude 想起なし
- ピアッサーGPT 中程度Claude 想起なし
- ファンデーションケースGPT 中程度Claude 想起なしRAG依存
- フェイシャルエステツールGPT 中程度Claude 強固
- メイクアップブラシGPT 強固Claude 強固
- メイク用スポンジ・パフGPT 中程度Claude 中程度
- メイク道具セットGPT 中程度Claude 強固
- 二重まぶたグッズGPT 強固Claude 強固
- 化粧ポーチ・メイクボックスGPT 中程度Claude 中程度
- 毛抜きGPT 中程度Claude 中程度
- 眉用はさみGPT 中程度Claude 強固RAG依存
- 鏡GPT 中程度Claude 想起なし
- 鼻・耳毛カッターGPT 強固Claude 中程度RAG依存
栄養補助食品
- サプリメント・ビタミンGPT 盤石Claude 盤石
- スポーツサプリメントGPT 強固Claude 盤石
- ダイエット食品GPT 盤石Claude 盤石
- 栄養バー・栄養ドリンクGPT 強固Claude 盤石
香水・フレグランス
- アトマイザーGPT 中程度Claude 想起なし
- アロマオイルGPT 盤石Claude 盤石
- エッセンシャルオイルGPT 強固Claude 盤石
- フレグランスウォーターGPT 中程度Claude 想起なし
- ボディミストGPT 強固Claude 強固
- 女性用香水・フレグランスGPT 強固Claude 強固
- 子ども用香水・フレグランスGPT 不安定Claude 中程度RAG依存
- 男性用香水・フレグランスGPT 強固Claude 中程度
- 練り香水GPT 中程度Claude 不安定
- 香水・フレグランスセットGPT 中程度Claude 不安定RAG依存
自社ブランドはLLMの想起集合に入っていますか？ディギディギなら、任意のカテゴリ・任意のモデルで想起集合の強度とハルシネーションを測定できます。
ディギディギを見る