仕事で何か新しいことをするように頼まれました。 非構造化テキスト データのデータ ダンプを考慮して、今四半期の当社製品についての顧客の意見についての洞察を示す詳細な PDF レポートを提供してください。
そこで明確なヒントを書きました。クロードに詳細な指示を与えた。データセットをフィードします。これにより出力が得られました。お届けしました。
しかし、関係者と私が成果物をさらに詳しく検討するにつれて、いくつかの厄介な問題に気づきました。
クロードは明らかに間違っていた。
いいえ 間違っている 間違っています、どこからともなく幻覚事実が現れるようなものです。もっと…のように 自信過剰のリスク 間違っている。これにより、四半期ごとのインサイト レポートが生成され、次のような内容が表示されます。
「今四半期、ドレス部門の否定的な感情が 23% 増加しました。これは顧客満足度に大きな変化が生じていることを示しており、製品チームは直ちに対応する必要があります。」
とても気持ちいいです。ただし、この急増はほぼ完全に、既知のサイズ上の欠陥を抱えて四半期半ばに発売された単一の人気商品によって引き起こされたことを除いて。製品です。部門全体ではありません。
クロードには全く分からなかった。そして私のサインは気にしないでくださいと言いました。
四半期顧客レビューレポートのスキル
私が作成した、 四半期顧客感情レポート 構造化されていない製品レビュー テキストから、PDF として関係者に配布されます。
当然ですが、仕事で分析した実際のデータセットは共有しません。私が使用しているデータセットは 女性向け電子商取引衣料品のレビュー Kaggle のデータセット (CC0 ライセンス)。これには、衣料品部門 (トップス、ドレス、ボトムス、ジャケットなど) にわたる 23,000 件の匿名化された実際の顧客レビューが、テキスト、星評価、製品メタデータとともに含まれています。レビュー内の会社への言及は「小売業者」に置き換えられました。
必須スキル:
- 今四半期のレビューのフィルタリングされたスニペットを読む
- 部門ごとにグループ化する
- 傾向と懸念事項を特定する
- 製品リーダーシップ チーム向けに専門的な概要 PDF を作成する
基本的なプロンプトは次のとおりです。
あなたは、婦人服の e コマース小売業者のために四半期ごとの顧客センチメント レポートを作成しているデータ アナリストです。この四半期の顧客レビュー (レビュー テキスト、星評価、部門を含む) を考慮して、以下を含む専門的な関係者レポートを作成します。
– 四半期の全体的なセンチメントの概要
– 部門別主なアイテム（トップス、ワンピース、ボトムス、ジャケット）
– レビュー テキストからの 2 ～ 3 つの驚くべき洞察
– 製品チームへの短い推奨事項
プロフェッショナルかつ明確であること。
完了したら、Review-Analyze というスキルを作成し、指示をそこに保存してください。。
「確信を持って間違っている」とは実際どのようなものなのか
以下は、ドレス部門で否定的なレビューが殺到していた四半期で、クロードが上記の経験の浅いスキルを駆使して制作した作品の一例です。
「今四半期、ドレス部門の否定的な感情が大幅に増加しており、顧客はフィット感やサイズの問題を挙げることが多い。これは、小売業者のサイズ基準が顧客の期待と異なる可能性があることを示唆しており、この傾向に対処しなければ、この重要なカテゴリーにおけるブランドロイヤルティが低下する可能性がある。」
実際の説明は？ 1 つのドレス (単一 SKU) が第 7 週に発売されましたが、バッチ品質に問題がありました。レビューがありました ほぼその 1 つの項目についてです。 残りの衣装部門は好調でした。
クロードは必ずしも何かを発明したわけではありません。なぜそのパターンが存在するのかについてのコンテキストはありませんでした。そして、そのコンテキストなしで、LLM が行うことと同じことを行いました。つまり、最ももっともらしく聞こえる物語でギャップを埋めました。
解決策: 含める必要がある 4 行
行 1: どのコンテキストが欠落しているかをクラウドに通知します
製品発売カレンダー、在庫記録、プロモーション キャンペーン、または個々の SKU レベルの履歴にはアクセスできません。部門レベルの傾向をブランド全体の原因と結び付けないでください。テキスト内で気づいたパターンを報告してください。レビュー自体が明確になるまで、それらが存在する理由を説明しないでください。
この 1 つの命令により、大きな信頼度誤差が排除されます。これがなければ、クラウドは常に戦略的な物語に手を伸ばすことになります。それが優れたアナリストの仕事であり、クラウドは優れたアナリストになろうとしているからです。
問題は、優れたアナリストも自分が何を知らないかを知っているということです。 「今四半期、ドレスのサイズが大きくなったという苦情が寄せられています。これは最近の発売に限定される可能性がありますが、確認するにはSKUレベルのデータが必要です」と彼は言います。あなたが言わない限り、クロードはそれを言いません。
2 行目: 「重要」が実際に何を意味するかを定義する
クロードはこの言葉が大好きです 重要。それはいつもそれを使用します。そしてそれを定義することはほとんどありません。
センチメントの変化を「重大」とマークするのは、前四半期と比較してポジティブ/ネガティブの比率が 15 パーセントを超える変化を示している場合、またはトピックが特定の部門のレビューの 20% を超えて出現している場合に限られます。小規模な標識の場合は、「微増」または「微増」などの表現を使用します。これらの制限を下回る内容については、「注目すべき」または「重要な」という言葉を使用しないでください。申請時には必ずシフトの実際の数値を報告してください。
データに応じて、15% と 20% の制限を調整できます。重要なのは、クラウドの言語を現実のものに結び付けることです。
それがなければ、クロード氏はレビュー 3 件による苦情の増加と実際の感情の 30 ポイント低下の両方を「重大」と呼ぶでしょう。関係者は関心を失い始めます。そして、本当に重要なことが起こっても、彼らはそれを知りません。
3 行目: 各洞察に信頼度修飾子を適用する
各洞察の前に、括弧内に信念ラベルを含めます。 [Data-Supported]、 [Possible]または [Speculative]。
使用 [Data-Supported] 洞察が提供されたレビュー テキストから直接得られる場合のみ。使用 [Possible] 洞察がテキストから合理的な結論である場合。使用 [Speculative] レビュー自体には存在しない理由やコンテキストについて推測している場合。
最初にこの行を追加したとき、私はほとんど期待していました [Data-Supported] タグ。私が実際に発見したのは、3 つすべてを組み合わせたもので、これによって、以前のレポートで私が気づいていなかったいくつのギャップがクラウドによって埋められていたかがわかりました。
この行を追加した後の出力の例:
これで、関係者は実際に何が確実で何が推測であるかを確認できるようになります。これはもっと正直なレポートです。
4 行目: クラウドが分析の限界を明らかにすることを期待する
レポートの最後に、「このレポートでは分からないこと」というタイトルのセクションを含めます。 SKU レベルのレビュー分析、返品率、リピート購入データなど、強力な結論を引き出すために必要な項目を 2 ～ 3 つ挙げてください。
この一文により、クラウドは自分の分析の限界を認識することになります。また、利害関係者に次にどのような問題を調査すべきかについての明確なロードマップを提供します。これはアナリストにとって非常に価値のあることです。
出力は次のとおりです。
クラウドを活用してスキルを磨く方法
スキルについて一度書くだけでは十分ではありません。モデルを反復するのと同じように、テストして改善する必要があります。
ステップ 1: 既知の例に対してスキルを実行します。
何が起こったかがすでにわかっている時間枠にデータセットをフィルターします。 (製品の返品がある四半期、季節限定のプロモーション、返品率が異常に高い期間など) クラウドが何を言っているかを確認してください。これは「重要」という言葉を正しく使っていますか?事実やデータを記載すべき箇所に記載していますか?
ステップ 2: 出力をクラウドにフィードし、監査を依頼します。
クロードは、あなたが彼にそれを見つけるように明示的に頼むとき、彼の自信過剰を捉えるのが上手です。
こちらはAIアナリストが作成した四半期ごとの顧客センチメントレポートです。このレポートの各洞察を確認し、次の点にマークを付けます。
– レビュー本文に直接的な証拠を示さずに因果関係を主張すること
– 正当な理由なく「重要な」または「注目に値する」などの言葉を使用する
– 個々の製品の問題をブランド全体のトレンドに結びつける
– 参照がデータセットに存在しないと仮定します (カレンダーの起動、
リスト、購入履歴）
マークされた項目ごとに、より適切にヘッジされた修正バージョンを提案します。
ステップ 3: 見つかった失敗ごとにセクションを追加します。
クロードが明らかに間違っている、または自信過剰な洞察を含むレポートを作成するたびに、彼のスキルに新しい制約を追加するように依頼します。時間が経つにつれて、あなたのスキルはクラウドが間違ったことをすべて記録することになります。
警告
スキルに制約を追加すると、クラウドがすべての文が「…ただし、確認するには追加のデータが必要ですが」で終わる出力を生成することがあります。
それすら役に立たない。
目標は、クラウドの言語の強度が証拠の強度と一致する、調整された信頼性です。クロードが過度に不注意であると思われる場合は、相殺制約を追加できます。
すべてのステートメントを過度に限定しないでください。パターンが複数のレビューにわたって明確かつ一貫して現れる場合は、それを明確に述べ、パターンの背後にあるデータへの参照を含めます。本当に不確実な主張や仮説的な主張には修飾子を付けておいてください。
結論
クラウドはプロフェッショナルなレポートを作成するのに効果的ですが、これが問題になる場合もあります。
ポーランド人は自信過剰を隠している。関係者は、きれいな書式と公式言語を見て、たとえそうでないとしても、洞察が確かなものであると想定します。
ここで説明した 4 つの行は、クラウドの機能を低下させるものではありません。彼らはそれをより正直にします。そして、レポートに関しては、印象深いことよりも正直であることが価値があります。
ダッシュボードの作成、デバッグ、ドキュメントの作成など、クラウドが適している他のユースケースについては、こちらをご覧ください。
→ 2026 年にすべてのデータ サイエンティストに必要な 3 つのクラウド スキル
読んでくれてありがとう
参加してください リンクトイン
コーヒーを買ってください 私の仕事をサポートするために！
Leave a Reply