サイトリニューアル後に「成果が落ちた／伸びた」と報告する前後比較には、5 つの落とし穴がある。切替日の誤認、計測イベント名の断裂、流入構成の変化との混同、比較セグメントの構成比不一致、検出力不足である。大手金融機関のサービスサイトの検証では、最初に出した悪化判定を後日の再分析で自ら撤回することになった。
なぜ「前後比較」はここまで間違えやすいのか
like-for-like 比較とは、期間以外の条件をそろえた前後比較を指す。そろえるのは同一ページ群・同一流入経路・同一期間長・同一 CV 定義・同一計測条件の 5 つ。手順は、①デプロイログや CMS の公開履歴で切替日を確定する ②前後で同じ定義のイベントが発火しているか確認する ③流入経路別に分解してページ要因と構成要因を分ける ④必要サンプル数を先に計算する、の順。例外として、これらを満たしても同時施策・季節性・外部要因は残るため、得られるのは因果の証明ではなく 推定差 である。
条件をそろえる、という言い方は曖昧になりやすいので、固定する次元を先に表にしておく。
| そろえる次元 | 具体的に固定するもの | そろっていないと起きること |
|---|---|---|
| ページ群 | 比較対象の URL 集合（新設・廃止ページの扱いを明示） | 改修範囲外の増減を効果として拾う |
| 流入経路 | 流入元・キャンペーンの区分と、その構成比 | 構成の変化を施策効果と取り違える |
| 期間長 | 前後の日数、曜日構成、繁閑期の重なり | 曜日構成の差が変化として現れる |
| CV 定義 | 成果イベントの定義とパラメータ、重複の除き方 | 別物どうしを比べる |
| 計測条件 | タグのバージョン、クロスドメイン設定、参照元除外、同意設定 | 計測の断裂を行動の変化と読む |
大手金融機関のサービスサイトでリニューアルの効果を検証したケースを追う。最初の分析では「申込導線の到達率が季節調整後も悪化した」と報告したが、後日の再分析でこの結論を撤回した。出典は匿名化した支援案件の実装ログで、観測主体は当社、観測範囲は対象サイトのアクセス解析データ、観測期間は切替の前後それぞれ数週間。案件が特定されないよう、業種・時期・媒体構成・変化率の具体値は抽象化またはレンジ化している。以下は一般則ではなく、この条件下で確認した 5 件の観察である。
落とし穴 1 — 切替日を「指定日」や「指標の段差」から決めてしまう
切替日はデプロイログと CMS の公開履歴で確定する
依頼時に指定された変化日（広告のランディングページ差し替え日）を基準に前後比較を組んだところ、その前後に明確な段差は見られなかった。デプロイの記録と公開履歴を確認すると、サイト全体が切り替わったのは指定日から数週間ずれた別の日で、指定日に起きていたのは広告の着地先を差し替えただけの、範囲の異なる変更だった。
ここで避けるべきなのは、成果指標の日次推移に見える段差から切替日を逆算することである。結果を見てから日付を選ぶと、偶然の変動をそのまま施策日として選びやすくなる（事後選択バイアス）。切替日は一次記録で確定し、指標側の推移はその記録と整合するかを確かめる補助材料として使う。
| 判定材料 | 位置づけ |
|---|---|
| デプロイログ / CMS の公開履歴 / タグ変更履歴 | 切替日の確定に使う一次記録 |
| ページタイトル・URL 構成の日次変化 | 一次記録との整合確認に使う補助材料 |
| 成果指標の段差 | 切替日の決定には使わない（逆算禁止） |
落とし穴 2 — リニューアルでクリック計測のイベント名が総入替になる
HTML の構造が変わるとクリック計測は静かに壊れる
クリックイベントの名前が、ボタンの CSS クラス名から自動生成される設計だった場合、リニューアルでクラス名が総入替になると、旧イベント名の計測件数はほぼゼロに落ち、新しい名前で別イベントとして計上され始める。前後比較でこの計測を使えば「クリックが大きく減った」という数字が出るが、これは行動の変化ではなく計測の断裂にすぎない。
対処として、クリックベースの指標を前後比較には使わず、申込フォーム側で発火する開始イベントを代替指標として採用した。ただし代替指標に切り替える前に、クロスドメイン計測の設定、参照元除外リスト、同意設定、セッションの継続条件、イベント定義とパラメータが前後で同一かを確認する必要がある。どれか 1 つでも前後で変わっていれば、代替指標もまた連続していない。あわせて、リニューアル後のボタンには識別用の属性を付与し直し、計測の張り直しを最優先の対応として実施した。
落とし穴 3 — 流入構成の変化を施策効果と混同する
流入元の構成比が変われば、全体の加重平均は動く
落とし穴 1 で確定した実際の切替日を基準に、全流入を合算した前後比較を行うと、到達率が大きく悪化したという結果が出た。しかし流入元別に分解すると、もともと到達率が低い流入面の構成比が大きく拡大しており、個々の流入元で見れば到達率はむしろ改善している面が多かった。つまり全体の悪化は、ページ側の要因ではなく構成要因（ミックス効果）が大部分を占めていた。
| 分解 | 全体の見かけ上の変化 | ページ要因 | 構成要因（ミックス効果） |
|---|---|---|---|
| 全流入合算 | 悪化 | 軽微 | 大部分がここに起因 |
分解の手順は単純で、「流入構成をリニューアル前の比率で固定した場合の変化」と「構成比の変化そのものが全体に与えた寄与」を別々に計算し、合計が全体の変化に一致することを確かめる。この一手間を省くと、流入構成が変わっただけの見かけ上の悪化を、リニューアルの失敗として報告することになる。
落とし穴 4 — 季節性の比較セグメントを「全チャネル合算」で選んでしまう
比較セグメントの構成比を、前年・当年で先に 1 行確認する
前年同期を使って季節性をならそうとした際、最初の分析では前年・当年ともに「全チャネル合算」を比較対象に使い、「季節調整後も悪化」という結論を出した。しかし後日、内訳を確認したところ、前年は流入のほぼ全てが自然検索だったのに対し、当年は有料の流入が相当な割合を占めるという、構成そのものが別物だったことが判明した。
用語を正確にしておくと、これは処置群と対照群を置く差分の差分（DiD）ではなく、前年同期を用いた季節調整である。DiD と呼ぶには、施策の影響を受けない対照群（未改修のディレクトリ、未適用のサイト、段階導入の後半群など）と、両群の平行トレンドの確認が要る。自然検索はリニューアルによる構造・表示速度・インデックスの変化を受けるため、厳密には対照群ではなく「比較セグメント」と呼ぶ方が実態に合う。
構成が比較的安定している自然検索同士に絞って再計算すると、季節調整後の推定差はほぼゼロまで縮んだ。加えて、比較する期間の窓（14 日・17 日・20 日・30 日）を変えると符号がプラスとマイナスの間を行き来したため、**「ゼロをまたいで安定しない＝施策に帰属できない」**という判断に至った。ただし窓を複数試すこと自体は感度分析であり、主分析の期間は分析を始める前に決めておく必要がある。結果を見てから窓を選べば、望む符号の結論を作れてしまう。比較セグメントの構成比を 1 行確認するだけで防げたはずの誤りだった。
落とし穴 5 — 「変化なし」と「判定できない」をどう区別するか
検出力が足りない指標には「要検証」のラベルを付ける
申込完了という最終指標については、前後で件数がほとんど変わらなかった。ここで「効果はなかった」と断定するのは早計である。この指標のベースレートと、検出したい変化幅から必要な件数を計算すると、確保できていた観測期間の 3 倍以上に相当する件数が要ることが分かった（期間を 3 倍にすれば件数が 3 倍になるとは限らないため、実務では期間ではなく件数で管理する）。正しい結論は「悪化していない」ではなく、「悪化の有無を判定できるだけの件数がない」だった。
| 指標 | 当初の分析 | 構成をそろえた後の再分析 | 最終判断 |
|---|---|---|---|
| 申込到達率 | 悪化 | 推定差はほぼゼロ、窓依存で符号反転 | 施策に帰属できない |
| 申込完了率 | ほぼ変化なし | 同左 | 判定不能（件数不足・要検証） |
| 資料請求完了率 | 増加 | 季節調整後も同方向の増加 | 観測期間中は増加方向 |
訂正の影響は結論の書き換えだけでは終わらない。初回の悪化判定を前提に検討していた導線の緊急改修は、帰属できないと判断した時点でいったん止め、計測の張り直しと必要件数に到達するまでの追加観測へ振り替えた。訂正を報告する際は、止めた施策・続けた施策・追加観測の終了条件を 1 表にして残すと、後から意思決定の履歴を追える。
このケースで言えたのは、資料請求という副次指標が観測期間中は増加方向だったことまでで、それも「リニューアルによる増加」と断定はしていない。主要指標については、比較セグメントを訂正した後は「明確な差を確認できず」が最終判断であり、結論を出すには追加の観測が必要という形で着地した。
まとめ — 5 つの落とし穴とチェック手順
| # | 落とし穴 | チェック手順 |
|---|---|---|
| 1 | 切替日の誤認 | デプロイログ / CMS 公開履歴で切替日を確定し、指標の段差から逆算しない |
| 2 | 計測名の断裂 | 前後で同名・同定義のイベントが発火しているか確認し、代替指標の連続性も検証する |
| 3 | 流入構成の変化との混同 | 流入元別に分解し、ページ要因と構成要因の寄与を分けて計算する |
| 4 | 比較セグメントの不一致 | 前年・当年の構成比を並べて確認し、対照群と比較セグメントを言い分ける |
| 5 | 検出力不足 | 必要件数を先に計算し、不足時は「変化なし」ではなく「要検証」と明記する |
次に読む診断チェック — 前後比較を出す前に 7 項目を確認する
レポートを提出する前に、次の 7 項目を確認すると、誤判定のほとんどは提出前に止められる。
- 切替日をデプロイログ・CMS の公開履歴・タグ変更履歴のいずれかで確定できるか。成果指標の段差から逆算していないか。
- 前後で同じ名前・同じ定義のイベントが発火しているか。名前の総入替が起きていないか。
- 代替指標を使う場合、クロスドメイン設定・参照元除外・同意設定・イベントパラメータが前後で同一か。
- 比較対象のページ群、流入経路、期間長、CV 定義、デバイス構成をそろえたか。
- 全体の変化を、構成を固定した場合の変化と、構成変化そのものの寄与に分解したか。
- 比較セグメントの構成比を、前年・当年で並べて確認したか。
- 主分析の期間と必要件数を、分析を始める前に決めたか。
7 項目のうち 1 つでも「確認できない」が残るなら、その分析結果は暫定値として扱い、報告書に確認できていない項目を明記する。mixednuts では、こうした計測設計と効果検証の設計を マーケティング支援 として提供している。
FAQ
Q. リニューアルの「切替日」はどう特定すればよいか？ A. デプロイログ、CMS の公開履歴、タグ管理ツールの変更履歴という一次記録で確定する。ページタイトルや URL 構成の日次変化は、その記録と整合するかの確認に使う。成果指標の段差から日付を逆算すると、偶然の変動を施策日として選んでしまう。
Q. クリック計測が壊れているかどうかはどう見分けるか？ A. リニューアル前後で同じイベント名の件数を並べ、片方がほぼゼロに落ちて別の名前が新たに出現していれば、行動の変化ではなく計測名の入替を疑う。あわせて、タグのバージョンと発火条件が前後で同じかを確認する。
Q. 前後比較で流入構成の変化を除外するにはどうすればよいか？ A. 全体の合算値だけを見ず、流入元ごとに分解したうえで、「流入構成をリニューアル前で固定した場合の変化（ページ要因）」と「構成比の変化そのものによる変化（構成要因）」を分けて計算する。両者の合計が全体の変化と一致することを確認する。
Q. 季節性をならすための比較対象はどう選べばよいか？ A. 本来の対照群の条件は、施策の影響を受けていないこと、施策前のトレンドが処置対象と平行であること、同時期に別の施策が入っていないこと、計測定義が同一であることの 4 点。自然検索はリニューアルの影響を受けるため、これらを満たさない場合は対照群と呼ばず、構成比をそろえた比較セグメントとして扱う。
Q. サンプルが足りているかどうかはどう判断するか？ A. 指標のベースレートと検出したい変化幅を決め、検出力 80%・有意水準 5% を前提に必要件数を計算し、確保できている件数と比べる。不足していれば結論は「変化なし」ではなく「要検証」で、追加観測の終了条件（必要件数に到達した時点）を先に決めておく。
Q. 一度出した分析結果を後から訂正することになった場合、どう扱うべきか？ A. 誤りを明示的に撤回し、原因（比較セグメントの選定ミスなど）を具体的に記載したうえで、訂正後の結論に基づいて打ち手を組み直す。既存のレポートは書き換えず、新しいレポートで前版を明示的に上書きする。あわせて、訂正前の判断で止めた施策・続けた施策と、追加観測の終了条件を 1 表で残しておくと、意思決定の履歴が追える。
参考文献 / Sources
サイト移行・切替日の特定:
- Google 検索セントラル: Site Moves and Migrations — サイト移行時に記録・確認すべき変更点
計測の連続性:
- GA4 ヘルプ[1]: Set up cross-domain measurement — 別ドメインのフォームをまたぐ計測条件
- GA4 ヘルプ: About events — イベント定義とパラメータの扱い
サンプルサイズ・検出力:
- NIST/SEMATECH e-Handbook of Statistical Methods — 7.2.2.2 Sample sizes required — 比率の差を検出するのに必要な件数の算出
関連記事:
知見を、事業の実装へ。
60分の無料相談で、貴社に適した論点と次の一手を整理します。