テスト問題の品質を校正する

あなたが作ったテスト問題、本当に「良い問題」になっていますか？

料理にたとえると、レシピ（テスト問題）を書いたあとに「味見」をする工程がこの Atom です。味見をしないまま人に出すと、塩が足りなかったり焦げていたりすることに気づけません。テスト問題も同じで、作ったあとに AI を使って客観的にチェックすることで、受験者にとってフェアでわかりやすい問題に仕上げることができます。

この Atom を終えると、AI（ChatGPT や Claude など）を使ってテスト問題の品質を点検し、改善案を出せるようになります。

• AI チャットツール（ChatGPT、Claude など）を使ったことがある
• 校正したいテスト問題が手元に 3〜5 問ある（なければサンプルを用意します）

まず、校正の基準を決めましょう。良いテスト問題には次の 4 つの条件があります。

1. 明確さ — 問題文を読んだだけで「何を答えればいいか」が迷わずわかる
2. 妥当性 — 測りたい知識やスキルを本当に測れている
3. 公平性 — 特定の背景知識がないと解けない、といった偏りがない
4. 選択肢の質（選択式の場合）— 正解以外の選択肢にもそれらしい理由がある

良い例と悪い例

悪い例（あいまいな問題文）:

「AI について正しいものを選べ」

これでは「何の AI？」「どの観点で正しい？」がわからず、受験者は混乱します。

良い例（範囲が明確な問題文）:

「生成 AI を業務で使うとき、著作権の観点で注意すべき点として正しいものを選べ」

範囲と観点が絞られていて、何を答えるかが明確です。

ここからが本題です。AI に「テスト問題の校正者」として働いてもらいます。

ステップ 1: 校正プロンプトを用意する

以下のプロンプトをコピーして、AI チャットに貼り付けてください。

あなたはテスト問題の品質校正の専門家です。
以下のテスト問題を、次の4つの観点で評価してください。

【評価観点】
1. 明確さ: 問題文だけで何を答えるか迷わずわかるか
2. 妥当性: 測りたい能力を本当に測れているか
3. 公平性: 特定の前提知識に偏っていないか
4. 選択肢の質: 誤答選択肢にも妥当な理由があるか（選択式の場合）

各観点について「○ 問題なし」「△ 改善余地あり」「× 要修正」で判定し、
改善が必要な場合は具体的な修正案も示してください。

--- ここから問題 ---
（ここにテスト問題を貼り付ける）
--- ここまで ---

ステップ 2: テスト問題を貼り付けて送信する

プロンプトの「ここにテスト問題を貼り付ける」部分に、あなたのテスト問題を入れて送信します。問題は 1 問ずつでも、3〜5 問まとめてでも構いません。

ステップ 3: AI のフィードバックを読み解く

AI が返してくる評価結果を確認します。注目すべきポイントは次の通りです。

• 「×」がついた項目 — 最優先で修正しましょう
• 「△」がついた項目 — 余裕があれば改善しましょう
• 修正案の具体性 — AI が「こう書き換えると良い」と提案してくれた場合、その案をそのまま使うか、参考にして自分の言葉で書き直すかを判断します

ステップ 4: 修正して再チェックする

修正した問題をもう一度 AI に見せて、改善されたか確認します。次のように聞いてみましょう。

先ほどの指摘を踏まえて問題文を修正しました。
改善されているか、同じ4つの観点で再評価してください。

--- 修正後の問題 ---
（修正したテスト問題を貼り付ける）
--- ここまで ---

最後に、校正の結果を 1 つのドキュメントにまとめましょう。以下のテンプレートを使うと便利です。

# テスト問題 校正レポート

本文は準備中です。

このドキュメントが、この Atom の**成果物（＝あなたが作ったもの）**になります。

• AI の指摘を鵜呑みにしてしまう — AI は校正の「たたき台」を出してくれますが、最終判断はあなたです。特に専門分野の正確さについては、AI よりあなたの方が詳しいはずです
• 問題数が多すぎて混乱する — 一度に送る問題は 3〜5 問までにしましょう。多すぎると AI の回答も散漫になります
• 選択式以外の問題でも使える — 記述式や実技系の問題でも、「明確さ」と「妥当性」の観点は同じように校正できます。プロンプトの評価観点を調整してください

次の 3 つができていれば、この Atom は完了です。

• AI にテスト問題を校正してもらい、フィードバックを受け取った
• フィードバックをもとに問題を修正し、再チェックした
• 校正レポート（Markdown ドキュメント）を作成した