メインコンテンツへスキップ
レッスン一覧に戻る

atom.cs-automator.small-batch-response-test

少数の問い合わせで応答を試す

少数の問い合わせでAIの応答を試す 新しいスタッフが入ってきたら、いきなり電話に出させる前に「ちょっとこのお客様の対応、どうする?」とロールプレイ(=お試しで練習すること)をしますよね。AIツールも同じです。いきな...

test-ai-response-with-sample-questionstest-ai-response-with-sample-questions「test ai response with sample questions」に関するスキルがこのレッスンで身につきます。
想定時間未設定公開状態: draft
学習メモ

成果物成果物このレッスンが終わったとき、あなたの手元に残る具体的な成果物です(例: 公開済みの Web ページ、動作するフォームなど)。

種類: markdown_doc検証: basic_manual_check_v1

証跡証跡成果物が正しく作れたことを確認するためのチェックリストです(例: ブラウザで動作する、フォーム送信で値が保存される)。

screenshot

メディアメディアレッスン内に出てくる図や動画のスロットです。実際の画面やイメージで理解を補助します。

diagramscreen_capture

レッスン本文

少数の問い合わせでAIの応答を試す

新しいスタッフが入ってきたら、いきなり電話に出させる前に「ちょっとこのお客様の対応、どうする?」とロールプレイ(=お試しで練習すること)をしますよね。AIツールも同じです。いきなり本番のお客様に使う前に、架空の質問をいくつか投げかけて、どんな返事ができるかテストしてみましょう。

このレッスンでは、あなたが用意した3〜5個の「よくある質問」を使って、AIがどんな回答をするかを確認します。15分あればサクッと終わるので、気軽に始めましょう!

用意するもの

  • AIツール(次のどれか1つでOK)
    • ChatGPT(chat.openai.com)— ブラウザで開くだけで使える
    • Claude(claude.ai)— Anthropic社のAIツール
    • CursorのAIチャット — Cursorエディタを使っている方はそのままでOK
  • お客様からよく聞かれる質問 3〜5個

質問のリストを用意する

まずは、お客様からよく聞かれる質問を3〜5個、箇条書きで用意します。メモ帳やノートアプリに書き出してください。

良い例:

  • 「営業時間は何時までですか?」
  • 「返品の方法を教えてください」
  • 「〇〇という商品はありますか?」
  • 「送料はいくらですか?」

悪い例:

  • 「こんにちは」(具体的な質問がないため、AIが何を答えていいかわからない)
  • 「お前は誰だ」(お客様から来る想定ではない不自然な質問)
  • 「全商品の一覧を教えて」(範囲が広すぎてAIが正確に答えにくい)

コツ: 実際にお客様からメールや電話でよく来る質問をそのままコピーするのが一番リアルなテストになります。

AIに「お店のスタッフ役」を頼む

AIにただ質問を投げるだけだと、一般的すぎる回答が返ってきます。まずAIに「あなたのお店のスタッフ」という役割を伝えましょう。これをプロンプト(=AIへの指示文)と呼びます。

以下のテンプレートをコピーして、AIツールのチャット欄に貼り付けてください。【 】の中をあなたのお店の情報に書き換えます。

あなたは【お店の名前】の優秀なカスタマーサポートスタッフです。
以下のルールを守って、お客様の質問に丁寧に答えてください。

- 敬語を使う
- 営業時間は【例: 平日10時〜18時】
- 返品は【例: 購入後7日以内、未使用のもの】
- わからないことは「確認して折り返します」と答える

プロンプト入力の流れ

良い例(プロンプトの書き換え後):

あなたは花屋フラワーズの優秀なカスタマーサポートスタッフです。
以下のルールを守って、お客様の質問に丁寧に答えてください。

- 敬語を使う
- 営業時間は平日10時〜18時、土曜10時〜15時、日祝休み
- 返品は購入後3日以内、枯れていた場合のみ
- わからないことは「確認して折り返します」と答える

悪い例:

質問に答えて

(役割もルールもないので、AIがあなたのお店と関係ない一般的な回答をしてしまいます)

質問を1つずつ送って回答をもらう

プロンプトを送ったら、用意した質問を1つずつAIに送ります。

例えば、こう送ります:

お客様の質問:返品の方法を教えてください

AIが回答を返してきたら、次の質問を送ります。3〜5個すべてに回答をもらいましょう。

ポイント: 1つの質問ごとに送る方が、AIの回答が安定します。まとめて5個送ると、後半の質問への回答が雑になることがあります。

返事の良し悪しをチェックする

AIが返してきた文章を、1つずつ自分の目で確認します。以下の3つのチェックポイントで○×を付けてみてください。

チェックポイント確認すること
1. 言葉づかい敬語が正しく使われているか?
2. 正確さ質問に対する答えが合っているか?
3. お店のルールお店のルールと違うことを言っていないか?

回答チェックの画面例

もしAIの回答がイマイチだったら

AIの回答が的外れだった場合は、プロンプト(最初の指示文)に情報を追加してみましょう。

例えば「送料はいくら?」への回答がおかしかった場合:

追加ルール:送料は全国一律500円、5,000円以上で送料無料です。

このように、間違えた部分に対応するルールを足すだけでOKです。最初から完璧なプロンプトを書く必要はありません。

結果を保存する

最後に、テスト結果を記録として残します。

  1. AIとのやり取り画面のスクリーンショット(=画面の写真)を撮ります
    • Mac: Command + Shift + 3(画面全体)
    • Windows: Windows + PrintScreen(画面全体)
  2. スクリーンショットをわかりやすい名前で保存します(例: AIテスト_20260413.png

このスクリーンショットが、今回の「ちゃんとやったよ!」という証拠になります。

確認する — できたかどうかのセルフチェック

以下の項目をすべて確認できたら、このレッスンは完了です!

  • 3〜5個の質問リストを用意した
  • AIに「お店のスタッフ役」のプロンプトを送った
  • 各質問に対するAIの回答をもらった
  • 3つのチェックポイント(言葉づかい・正確さ・ルール合致)で確認した
  • スクリーンショットを保存した

つまずきやすいポイント

よくある困りごと解決法
AIが一般的すぎる回答をするプロンプトにお店固有の情報(営業時間、返品ルールなど)を追加する
同じ質問なのに毎回違う回答が返るこれはAIの性質上正常です。大きく内容が変わる場合はプロンプトのルールを具体的にする
AIがウソの情報を混ぜる「わからないことは正直に『確認します』と答えてください」とプロンプトに追加する
敬語がおかしい「ですます調の丁寧な敬語で答えてください」とプロンプトに追記する
成果物成果物このレッスンが終わったとき、あなたの手元に残る具体的な成果物です(例: 公開済みの Web ページ、動作するフォームなど)。

種類: markdown_doc

検証: basic_manual_check_v1

証跡とメディア

証跡証跡成果物が正しく作れたことを確認するためのチェックリストです(例: ブラウザで動作する、フォーム送信で値が保存される)。

screenshot

メディア

diagramscreen_capture
前提 atom

必須

なし

あると楽

なし

学習完了