PR-060 リライトしたつもりが、公開前後で何が変わったのか比較できていない——リライト前後のAI回答を突き合わせて改善を確認する方法
こんな悩みはありませんか?
記事をリライトして公開したものの、公開前後でAIの答え方が実際に変わったのかを確認していない。「たぶん良くなったはず」という感覚のまま、次のリライトに進んでしまっている——そんな進め方はないだろうか。
この記事でできるようになること
リライト前後で同じ質問をAIに投げた結果を突き合わせ、言及の有無・引用の有無・トーンの変化を比較記録として残せるようになります。
使うプロンプト
入力に必要な素材:
- リライト前に実行した質問と回答の記録(実行日・使用AIも分かれば併記)
- リライト後に同じ質問を実行した回答の記録(同じ質問文・可能であれば同じAIで実行したもの)
【使用AI】ChatGPTまたはPerplexity
# 役割
あなたはリライトの効果検証担当です。「たぶん良くなったはず」という感覚ではなく、リライト前後の回答を実際に突き合わせて変化を記録する実務を専門にしており、読み手はリライトの成果を社内に説明したい担当者です。
# 入力素材の確認
以下の記録が貼り付けられている前提で作業してください。
- リライト前の質問と回答の記録
- リライト後に同じ質問を実行した回答の記録
どちらか一方でも記録が貼り付けられていない場合は、比較に進まず「比較に必要な記録が揃っていません。リライト前後どちらの記録も貼り付け直してください」とだけ回答し、そこで処理を止めてください。同じ質問文で実行されたものか(質問文が完全一致しているか)も確認し、一致していない場合はその旨を明記したうえで参考情報として扱ってください。
# リライト前の記録
【リライト前に実行した「自社名について教えてください」等の質問と、その回答(言及の有無・引用URLの有無・トーン)を貼り付ける】
# リライト後の記録
【リライト後に同じ質問を実行した回答を貼り付ける】
# 分析手順
1. リライト前後で、質問文が完全に一致しているかを確認する
2. 自社の言及有無(あり/なし)をそれぞれの回答から判定する
3. 出典・引用URLとして自社サイトが挙げられているかを確認する
4. 回答のトーン(好意的・中立・否定的)を判定する
5. 回答に含まれる事実関係(料金・サービス内容等)が、現行の正しい情報と一致しているかを確認する
# 比較してほしいこと
1. 自社の言及有無が変化したか(なし→ありなど)
2. 出典・引用URLとして自社サイトが挙げられるようになったか
3. 回答のトーン(好意的・中立・否定的)に変化があったか
4. 回答に含まれる事実関係(料金・サービス内容など)が正しく更新されているか
# 出力形式
Before/Afterを並べた比較表を作成し、「改善が見られた点」「変化が見られなかった点」「悪化した可能性がある点」の3つに分けて要約してください。最後に、以下を3行以内で追記してください。
- 比較した項目数のうち改善・横ばい・悪化それぞれの件数
- 質問文が完全一致していたかどうか
- 次回再実行を推奨する時期の目安
生成AIの回答は同じ質問でも実行のたびにブレるため、1回の比較結果だけで「効果があった/なかった」と断定せず、複数回・複数日で再実行して傾向を確認することを前提にしてください。
# 品質ガード
- 貼り付けられていない情報(実行日時・AIモデルのバージョン等)を推測で補わない
- 「改善」の判定は、貼り付けられた回答内容から直接読み取れる変化のみを根拠とする
- リライトとAIモデルの更新時期が近い場合は、変化の要因を単一の施策に断定しないよう注意書きを添える実行手順
- リライトに着手する前に、対象記事に関連する質問(例:「【自社名】について教えてください」)をChatGPTやPerplexityに投げ、回答を保存しておく
- リライトを実施し、公開する
- 公開から一定期間(数日〜数週間)を空けて、同じ質問を同じAIに再度投げる
- リライト前後の回答を両方プロンプトに貼り付けてChatGPTまたはPerplexityで比較を実行する
- 「改善が見られた点」「変化がなかった点」「悪化した可能性がある点」を記録し、次のリライト対象の判断材料にする
結果の読み解き方
1回の比較で「効果があった」と判断せず、複数回・複数日の実行結果を並べて傾向を見る。リライトの時期とAIモデルの更新時期が近い場合、変化がリライトによるものかモデル更新によるものか切り分けが難しくなるため、実行日を必ず記録しておく。
注意点
生成AIの回答は確率的に変動する。同じ質問でも実行のたびに違う答えが返ることがあるため、リライト前後それぞれで複数回実行し、単発の結果で一喜一憂しないこと。
関連レッスン・関連パターン
- 関連レッスン: V-A5 計測の限界と注意点
- 関連レッスン: V-A6 ベースライン測定
確認テスト
選択肢をクリックすると、その場で正誤と解説が表示されます。
Q1. 生成AIの回答は同じ質問でも実行のたびにブレるため、1回の比較結果だけで「効果があった/なかった」と断定してはいけない。
生成AIの回答は同じ質問でも実行のたびにブレるため、1回の比較結果だけで断定せず複数回・複数日で再実行して傾向を確認することが前提とされている。
Q2. 比較すべき4項目に含まれないものはどれか。
比較項目は言及有無・出典URL・トーン・事実関係の正しさの4つであり、競合の株価変動は含まれない。
Q3. リライト時期とAIモデルの更新時期が近い場合に注意すべきことは何か。
リライトの時期とAIモデルの更新時期が近い場合、変化の原因の切り分けが難しくなるため実行日を必ず記録しておく必要があるとされている。
よくある質問
Q. リライト直後に1回だけ質問して結果を報告してよいですか。
いいえ。公開から一定期間(数日〜数週間)を空けて、同じ質問を再度投げることが実行手順に示されています。
Q. 実行日を記録する必要はありますか。
はい。リライトの時期とAIモデルの更新時期の切り分けのため、実行日を必ず記録しておくことが結果の読み解き方に明記されています。
Q. 比較結果が「変化がなかった点」だった場合、それは無意味なデータですか。
いいえ。「改善が見られた点」「変化が見られなかった点」「悪化した可能性がある点」の3つに分けて要約することが出力形式として求められており、変化なしも重要な記録です。