改善・リライト応用

PR-065 リライトしても評価者によって「良くなった」の判断がバラバラ——リライト前後をAIに採点させ客観的な合否基準を作る方法

ClaudeChatGPT

こんな悩みはありませんか?

記事をリライトしても、評価する人によって「良くなった」の判断がバラバラ。担当者の感覚頼みで、公開してよいかどうかの基準が社内で共有されていない——そんな状態で毎回議論になっていないだろうか。

この記事でできるようになること

リライト前後の原稿を同じ採点基準で評価させ、合格ラインを決めた客観的な合否判定を得られるようになります。

使うプロンプト

入力に必要な素材:

  • リライト前の原稿(Before・全文)
  • リライト後の原稿(After・全文)
【使用AI】ClaudeまたはChatGPT

# 役割
あなたはリライトの合否判定担当です。「良くなった」の判断が評価者ごとにバラバラになる問題を防ぐため、同一の採点基準でBefore/Afterを比較し、客観的な合否ラインを提示する実務経験があります。読み手は、公開可否を判断する編集責任者です。

# 入力素材の確認
以下の原稿が貼り付けられている前提で作業してください。
- リライト前の原稿(Before)
- リライト後の原稿(After)
どちらか一方でも貼り付けられていない場合は、採点に進まず「Before/Afterどちらかの原稿が確認できません。両方を貼り付け直してください」とだけ回答し、そこで処理を止めてください。

# リライト前の原稿(Before)
【リライト前の原稿をそのまま貼り付ける】

# リライト後の原稿(After)
【リライト後の原稿をそのまま貼り付ける】

# 分析手順
1. Before原稿を4観点それぞれの基準に沿って採点する
2. After原稿を同じ基準・同じ厳しさで採点する(Beforeより甘く/厳しく採点しないよう自己点検する)
3. 観点ごとにBefore→Afterの点数差を確認する
4. 合計点と各観点の最低点を確認し、合否ラインに照らして判定する
5. 「要再修正」の場合、点数差が小さい、または依然として点数が低い観点を1つ特定する

# 採点基準(各10点満点・合計40点満点)
1. 直接回答性:10点=結論が冒頭で先出し/7〜9点=結論到達がやや遅い/4〜6点=結論到達が本文中盤/0〜3点=結論が末尾のみ、または不明瞭
2. 出典明記:10点=主要な数値・固有名詞すべてに根拠併記/7〜9点=大半に併記/4〜6点=併記が半分未満/0〜3点=出典の記載がほぼない
3. 構造化:10点=見出し・箇条書き・表が適切に機能/7〜9点=概ね機能するがやや不足/4〜6点=構造化が部分的/0〜3点=構造化がほぼされていない
4. 独自性:10点=自社の一次情報・独自の視点が中心/7〜9点=一次情報を含むが一般論も多い/4〜6点=一般論が中心/0〜3点=一般論のみ

# 合否ライン
合計30点以上、かつどの観点も5点未満がない場合を「合格」とする。それ以外は「要再修正」とする。

# 出力形式
Before/Afterそれぞれの観点別点数・合計点を並べた比較表を作成し、合否判定とその理由を明記してください。「要再修正」の場合は、どの観点を優先して直すべきかを1つ指摘してください。最後に、以下を3行以内で要約してください。
- Before→Afterの合計点の差分
- 合否判定
- 優先して直すべき観点(合格の場合は「なし」)

採点基準・合格ラインはあくまで社内の目安であり、実行のたびに点数がブレる可能性があることを明記し、1回の採点結果だけで最終判断しないよう注意書きを添えてください。

# 品質ガード
- Before/Afterで採点の厳しさが変わらないよう、同じ判断基準を明示的に適用する
- 貼り付けられた原稿にない情報を根拠に加点・減点しない
- 合否判定は参考値であり、最終的な公開可否の判断は人間が行う前提であることを明記する

実行手順

  1. リライト前後の原稿をそれぞれ用意する
  2. プロンプトに貼り付けてClaudeまたはChatGPTで実行する
  3. Before/Afterそれぞれの観点別点数と合計点を確認する
  4. 「要再修正」と判定された場合、指摘された優先観点を確認し、その部分だけを追加で手直しする
  5. 手直し後、再度同じプロンプトで採点し、合格ラインに達したかを確認してから公開する

結果の読み解き方

合計点の差分だけでなく、観点ごとの点数がBeforeからAfterでどう動いたかを見る。特定の観点だけが極端に低いまま残っている場合、その観点に絞った追加修正の方がゼロから書き直すより効率的なことが多い。

注意点

採点基準・合格ラインはあくまで社内の目安であり、生成AIによる採点は実行のたびにブレる。1回の採点結果だけで最終判断せず、可能であれば複数回、あるいは複数のAIで採点して傾向を確認したうえで公開可否を決めること。

関連レッスン・関連パターン

  • 関連レッスン: IV-A2 引用されやすさの要因分解
  • 関連レッスン: V-D5 改善優先度の付け方

確認テスト

選択肢をクリックすると、その場で正誤と解説が表示されます。

Q1. この採点基準・合格ラインは業界共通の公式な基準として扱ってよい。

Q2. 合格ラインとして記事に示されている条件はどれか。

Q3. 「要再修正」の場合に確認すべきことは何か。

よくある質問

Q. 「要再修正」の場合、記事全体をゼロから書き直す必要がありますか。

必ずしもそうではありません。特定の観点だけが極端に低いまま残っている場合、その観点に絞った追加修正の方がゼロから書き直すより効率的なことが多いとされています。

Q. 1回の採点結果だけで公開可否を最終決定してよいですか。

いいえ。可能であれば複数回、あるいは複数のAIで採点して傾向を確認したうえで公開可否を決めることが注意点として示されています。

Q. Before/Afterの比較表には何を含めるべきですか。

観点別点数・合計点を並べた比較表と、合否判定・その理由を明記することが出力形式として求められています。

AIエージェント開発・AI検索最適化(AIO)の実装支援

AIエージェント開発・AI検索最適化(AIO)・LLMの内製化まで、学んだ内容を自社実装につなげたい方にWEBMARKSが伴走します。

無料相談してみる