社内テストでボットの問題点を洗い出す

新しいレストランがオープンする前には「試食会」を開きますよね。スタッフや知人に料理を食べてもらい、味が濃すぎないか、メニューの説明が分かりやすいか——本番のお客さんに出す前に問題を見つけて直すためです。

あなたが作ったボット（＝自動で返答してくれるプログラム）も同じです。お客さんに使ってもらう前に、社内の同僚に試してもらって「ここがおかしい」「ここが分かりにくい」という声を集めるのが社内テストです。

この Atom では、15 分で終わる小さな社内テストを回して、ボットの問題点をリストアップする方法を学びます。さらに、AI（ChatGPT や Claude）を使ってテスト質問やまとめレポートを効率的に作る方法も身につけます。

---

この Atom を終えると、あなたは次のことができるようになります。

• 同僚 2〜3 人にボットを使ってもらうテストを計画・実行する
• AI を使ってテスト用の質問リストを素早く用意する
• 気づいた問題をまとめた短いレポートを作る

必要なもの:

• すでに動くボット（まだボットを作っていない場合は、先にボット作成の Atom を終えてから戻ってきてください）
• ChatGPT または Claude（ブラウザで無料版が使えれば OK です）

---

社内テストは大きく 4 つのステップで進みます。

1. テスト範囲を決める —— 何を確かめたいか整理する
2. テスト質問を AI で用意する —— 同僚に聞いてもらう質問を書き出す
3. 同僚に試してもらう —— 実際にボットと話してもらい、反応をメモする
4. 結果を AI でまとめる —— 気づきを整理して「修正すべきことリスト」を作る

それぞれ詳しく見ていきましょう。

---

まず「このテストで何を確かめるか」を 1〜2 個に絞ります。全部を一度に確かめようとすると、15 分では終わりません。

良い例：

• 「返答の内容が正しいか」だけを確かめる
• 「操作に迷わずに最後までたどり着けるか」だけを確かめる

悪い例：

• 「すべての機能を一度にチェックする」—— 範囲が広すぎて時間が足りません
• 「なんとなく触ってみる」—— 何を見ればいいか分からず、感想も曖昧になります

メモアプリやノートに「今回確かめること」を 1 行で書いておきましょう。

例: 「返品に関する質問に、正しい内容で答えられるか確かめる」

---

同僚にボットへ入力してもらう質問を 5〜10 個用意します。ここで AI を活用すると、自分では思いつかなかった質問パターンも網羅できます。

AI にテスト質問を作ってもらうプロンプト例

ChatGPT や Claude に、次のようなプロンプト（＝AI への指示文）をコピペしてください。

あなたはカスタマーサポートのテスト担当者です。
以下のボットに対して、お客さんが実際に聞きそうな質問を10個作ってください。

【ボットの説明】
- 扱っているサービス: （ここにあなたのサービス名を入れる）
- ボットが答えられる範囲: （例: 営業時間、返品方法、料金）

質問は以下のバリエーションを含めてください:
1. よくある質問（正しく答えられるはずのもの）: 3個
2. 少しひねった言い方の質問（「返品できる？」→「やっぱ返したいんだけど」）: 3個
3. ボットが答えられないかもしれない質問: 2個
4. 長文や複数の質問を一度に聞くパターン: 2個

AI の回答を確認する

AI が返してきた質問リストを見て、次の点をチェックしてください。

• 実際のお客さんが聞きそうな内容になっているか
• 簡単な質問ばかりに偏っていないか（ボットの得意なことだけだと問題が見つかりません）
• 不自然すぎる質問は削って、自然な言い回しに書き換える

良い例：

• 「返品したいんですけど、レシートなくしちゃいました」（現実にありそう）
• 「営業時間と駐車場の場所、両方教えて」（2つ同時に聞くパターン）

悪い例：

• 「貴社のリターンポリシーにおける例外条件を網羅的にご教示ください」（お客さんはこんな風に聞きません）

---

テスト質問が用意できたら、同僚 2〜3 人にボットを使ってもらいます。

ここでのポイントは 「何も説明しない」 ことです。ボットの使い方を教えず、お客さんと同じ状態で始めてもらいます。

同僚にやってもらうこと

1. ボットを開く
2. 用意した質問を順番に入力する
3. 返答を見て「分かりにくい」「間違っている」と思ったところをその場でメモする

あなたがやること

横で画面を見ながら、次の 3 点をメモしてください。

• 操作で迷った瞬間: 「どこに入力すればいいの？」と聞かれた、など
• 返答に首をかしげた瞬間: 同僚が「ん？」という顔をしたところ
• ボットが答えられなかった質問: エラーが出たり、的外れな答えが返ったもの

同僚を頼めない場合: 家族や友人でも大丈夫です。ボットを使ったことがない人なら誰でもテスター（＝テストしてくれる人）になれます。

---

テストが終わったら、集まったメモを AI に渡して整理してもらいましょう。

AI にまとめレポートを作ってもらうプロンプト例

以下はボットの社内テストで集まったメモです。
これを「質問内容」「ボットの返答」「どう直したいか」の3列の表にまとめてください。
問題の深刻度（高・中・低）も付けてください。

【テストメモ】
（ここにあなたのメモをそのまま貼り付ける）

出力される表のイメージ

AI が作った表を確認して、おかしいところがあれば手で直します。この表が今回の 成果物（＝完成したもの） です。

---

テスト結果の表ができたら、次の 3 つのチェックを行ってください。すべて「はい」なら、この Atom は完了です。

• 問題が 1 つ以上見つかっている —— 問題が 0 個なら、テスト質問がボットの得意なことばかりになっていないか見直しましょう
• 問題が具体的に書かれている —— 「なんか変」ではなく「返答が『はい』だけだった」のように、何が・どうおかしいかが書かれているか
• どう直したいかが書かれている —— 問題だけでなく「こうなっていたら良い」という改善案までメモされているか

確認できたら、表のスクリーンショット（＝画面の写真）を撮って保存してください。

---

---

お疲れさまでした！ あなたは社内テストを通じて、ボットの問題点を具体的なリストにまとめることができました。AI を使ってテスト質問の準備やレポート作成を効率化するコツも身につきましたね。

このリストがあれば、次に直すべきところがはっきり分かります。次のステップでは、このリストをもとにボットを改善していきましょう。