CRM施策の効果測定に関するご質問50選
CRM施策の効果測定に関するご質問50選
目次
- 1. CRM施策の効果測定に関する5つの質問
- 2. 対照群に関する5つの質問
- 3. ホールドアウトテストに関する5つの質問
- 4. 増分売上に関する5つの質問
- 5. インクリメンタリティに関する5つの質問
- 6. アトリビューションに関する5つの質問
- 7. 施策別ROIに関する5つの質問
- 8. 統計的有意差に関する5つの質問
- 9. 効果測定期間に関する5つの質問
- 10. 効果測定レポートに関する5つの質問
1. CRM施策の効果測定に関する5つの質問
Q1. CRM施策の効果測定では、最初に何を決めますか？
A. 開封率、クリック率、CVについて観測期間をある程度決めます。結果を見て都合よく指標を替えないように客観的に効果測定はするようにしましょう。。
Q2. 施策前の基準値は、どの期間から取りますか？
A. 曜日・季節・キャンペーン条件が近い複数期間を使います。直前だけの異常値に依存せず、前年同時期や傾向も併記します。
Q3. 配信・接触・購入を、どのIDで結びますか？
A. 施策ID、顧客ID、注文IDを結びます。メールアドレスや受信時刻だけで曖昧に関連付けず、重複条件を定義します。CRMツールを導入している場合には、全てマージされた状況で確認が行える為、各社で結びつけるようの作業は基本的に発生しなくなります。
Q4. 複数施策が同時に動く時、効果の混在をどう防ぎますか？
A. 対象の重複を事前確認し、優先施策へ割り付けるか、接触パターン別に記録します。複数接触を単一施策だけの成果にしないようにしましょう。
Q5. 効果測定の結果から、何を決めるべきですか？
A. 継続、停止、拡大、対象変更、追加検証のいずれかを決めます。数値を報告するだけでなく、閾値・担当・実施期限まで残せれば円滑なＣＲＭの管理がおこなえます。
2. 対照群に関する5つの質問
Q6. ランダム抽出した際の対照群は、どのように選びますか？
A. 施策の対象条件を満たす顧客の中から、くじ引きのように偏りなく選びます。購入回数や売上が高い人だけを意図的に除かず、施策を行うグループと条件が近いことも確認します。
Q7. ＡＢテストの対照群は、ＡとＢ同じでなければなりませんか？
A. 同じ人数でなくても構いません。ただし、差が大きいと正しい比較ができません。確認したい成果の差や対象人数に応じて必要数を決めましょう。
Q8. 施策を打ちたい対照群から高価値顧客だけが外れると、何が起きますか？
A. 施策を行わないグループの購入率が不自然に低くなり、施策の成果が実際より大きく見えます。割り振った後に、売上、購入回数、会員期間などに大きな差がないか確認します。
Q9.施策の 対照群の顧客が別チャネルで接触した場合、どう扱いますか？
A. メールの対象外でもLINEや広告に接触する場合があります。その接触を記録し、どれくらい混ざったかを報告します。基本は最初に分けたグループで比較し、実際の接触別結果は補足として見ます。
Q10. 重要なお知らせにも対照群を設けてよいですか？
A. 契約変更、障害、安全、法令など必ず伝えるべき通知では、送らないグループを作りません。比較したい場合は、必要な案内は全員へ送り、クーポンなど販促部分だけを分けます。
3. ホールドアウトテストに関する5つの質問
Q11. ホールドアウトテストは、通常のA/Bテストと何が違いますか？
A. A/Bテストは件名やクーポンなど複数案の優劣を比べる方法です。ホールドアウトテストは、一定期間あえて施策を行わない人を残し、CRM施策によって本当に増えた売上や購入を測る方法です。
Q12. 長期ホールドアウト群は、何％程度に設定しますか？
A. 一律の割合はありません。対象人数が多ければ数％でも比較できますが、少ない場合は割合を増やす必要があります。過去の購入率と確認したい成果の差から、比較に必要な最小人数を決めます。
Q13. 施策ごとの対照群と、全CRM施策のホールドアウトを併用できますか？
A. 併用できます。全CRM施策を受けないグループではCRM全体の成果を測り、個別施策の非実施グループではメールやLINEなど各施策の成果を測ります。同じ顧客が重複しないよう管理します。
Q14. ホールドアウト群の顧客構成が変わった時、どう対応しますか？
A. 開始時と現在の購入率、会員期間、購入回数などを比べます。退会や新規顧客の増加で偏りが大きくなった場合は、あらかじめ決めた条件で組み直し、組み直す前後を分けて集計します。
Q15. ホールドアウトテストを止める条件は何ですか？
A. 必要な人数と期間に達した時点を基本とします。ただし、顧客への不利益が大きい、売上機会の損失が想定以上、正しく計測できないなどの問題が起きた場合は、事前ルールに従って中止します。
4. 増分売上に関する5つの質問
Q16. 増分売上は、どのように計算しますか？
A. 施策を行った人と行わなかった人の「一人当たり売上」の差を出し、施策対象人数を掛けます。例えば差が500円で対象が1万人なら、増分売上は約500万円です。
Q17. 返品・キャンセルは、増分売上へどう反映しますか？
A. 返品やキャンセル分は売上から差し引き、元の購入者が属するグループの実績を修正します。注文時点の売上だけで判断せず、返品が落ち着く期間まで待ってから最終結果を確認します。
Q18. 増分売上ではなく増分粗利を見るべきですか？
A. 投資判断では、売上よりも増分粗利が重要です。施策で増えた売上から、商品原価、値引き、送料など売上増加に伴う費用を差し引き、実際に残った利益を確認します。
Q19. テスト結果の増分を、全対象者へそのまま掛けてもよいですか？
A. そのまま当てはめるのは危険です。対象を広げると、関心の低い顧客も増え、反応が下がる場合があります。在庫や配信可能数も確認し、対象を段階的に広げながら成果を測ります。
Q20. 施策で購入時期が前倒しになっただけか、どう確認しますか？
A. 配信直後だけでなく、通常の次回購入時期を過ぎるまで累計購入額を比べます。後から施策を行わなかった人が追い付いた場合は、購入が増えたのではなく時期が早まった可能性があります。
5. インクリメンタリティに関する5つの質問
Q21. インクリメンタリティとアトリビューションは、何が違いますか？
A. インクリメンタリティは「施策を行ったことで新たに増えた成果」です。アトリビューションは「購入に関わったメール、LINE、広告などへ成果をどう割り振るか」という集計ルールです。
Q22. 施策接触者の購入率が高ければ、増分効果がありますか？
A. 購入率が高いだけでは判断できません。もともと購入意欲が高い人へ多く配信している可能性があるためです。条件が近い非接触者と比べ、施策によって増えた差を確認します。
Q23. 無作為割付が難しい場合、増分効果をどう推定しますか？
A. 購入回数や売上などが近い顧客同士を比べる方法、実施前後を比べる方法、地域や時期をずらして導入する方法があります。ただし完全な比較ではないため、推定であることと弱点を明記します。
Q24. CRM施策が他チャネルの成果を下げる場合もありますか？
A. あります。例えばメール経由の購入が増えても、自然検索や店舗で買う予定だった人が移っただけなら全体売上は増えません。施策経由だけでなく、会社全体の売上や粗利も確認します。
Q25. 増分効果が小さくても、施策を続ける価値はありますか？
A. あります。売上増加が小さくても、問い合わせ削減、作業時間短縮、返品や苦情の減少などを含めると価値が上回る場合があります。目的ごとに成果と費用を分けて判断します。
6. アトリビューションに関する5つの質問
Q26. CRMのアトリビューション期間は、どう決めますか？
A. 通知を見てから購入までにかかる期間を、商品の検討期間や購入周期に合わせて決めます。日用品の再購入と高額商品の購入では期間が異なるため、商品別に設定します。
Q27. 最後にクリックされたチャネルへ、売上を全て付けてよいですか？
A. すべてを付けると、直前の接点だけが過大評価されます。最後のクリックは購入直前の動きを知る参考にし、他のメールやLINE、広告、自然購入の影響も確認します。投資判断には非実施者との比較も使います。
Q28. 開封だけの接触を、購入への貢献として数えますか？
A. 開封は補助的な接触として扱います。メールソフトが自動的に開封扱いにする場合や、画像を表示せず実際に読んでも計測されない場合があるため、クリックや購入と分けて見ます。
Q29. メールとLINEの両方に接触した購入を、どう集計しますか？
A. 一つの注文を二重に売上計上しないよう、注文番号にメールとLINEの接触履歴を結びます。そのうえで、最後の接触へ付ける、均等に分けるなど、社内で決めた同じルールを使います。
Q30. アトリビューション結果は、施策評価へどう使いますか？
A. 顧客が購入までにどの接点を通ったかを理解するために使います。ただし、割り振られた売上だけで施策の予算を決めず、非実施者との差、費用、配信停止や苦情も合わせて判断します。
7. 施策別ROIに関する5つの質問
Q31. 施策別ROIの分子・分母には、何を使いますか？
A. ROIは「投じた費用に対して、どれだけ利益が増えたか」を示します。例えば、増えた粗利から施策費を引いた金額を施策費で割ります。売上と利益を混ぜず、社内で計算式を統一します。
Q32. CRM施策の費用には、配信料以外も含めますか？
A. 含めます。メールやLINEの配信料だけでなく、クーポン値引き、制作、設定、分析、外部委託、担当者の作業時間など、施策を行うために発生した費用を整理します。
Q33. 共通ツール費や人件費を、施策別にどう配賦しますか？
A. 各施策で使った時間、配信数、対象人数など、説明しやすい基準で分けます。例えばツール費を配信数の割合で分けます。分け方によって結果が変わるため、基準もレポートに記載します。
Q34. 将来の再購入価値を、ROIへ含めてもよいですか？
A. 含めても構いませんが、すでに確認できた利益と将来予測は分けて表示します。再購入率や粗利の予測条件も明記し、予測が外れた場合の結果も確認します。
Q35. ROIが高い小規模施策を、必ず拡大すべきですか？
A. 必ずしも拡大すべきとは限りません。対象を広げると関心の低い顧客が増え、反応が下がる場合があります。在庫、配信費、苦情なども確認し、少しずつ広げて再検証します。
8. 統計的有意差に関する5つの質問
Q36. 統計的有意差があれば、事業上も重要な差ですか？
A. 同じではありません。統計的有意差は「偶然とは考えにくい差」という意味で、利益が大きいとは限りません。差が小さくても対象人数が多いと有意になるため、利益額や費用も確認します。
Q37. テスト前に必要なサンプル数を、どう決めますか？
A. 現在の購入率、最低限確認したい改善幅、数値のばらつきなどから計算します。難しい場合は分析担当者や計算ツールを使い、少なすぎる人数で結論を出さないようにします。
Q38. 多数の指標・顧客群を同時に検定してもよいですか？
A. 指標や顧客層を細かく分けすぎると、偶然よく見える結果が出やすくなります。最も重視する指標と顧客層を事前に決め、それ以外で見つけた傾向は次のテストで再確認します。
Q39. 結果を毎日確認し、有意になった時点で止めてもよいですか？
A. 原則として、途中で都合よく止めません。毎日確認して良い結果が出た瞬間に終えると、偶然の差を成果と誤認しやすくなります。事前に決めた人数または期間まで続けます。
Q40. 有意差が出なかった場合、効果がないと言い切れますか？
A. 言い切れません。本当に差が小さい場合と、対象人数が少なく判断できない場合があります。予想される差の範囲と人数を確認し、必要であれば期間延長や再テストを行います。
9. 効果測定期間に関する5つの質問
Q41. 効果測定期間は、商品の購入周期に合わせますか？
A. 合わせます。例えば30日で使い切る商品なら、30日後だけでなく60日後や90日後まで見る場合があります。配信直後の反応と自然な再購入が起きる時期を分けて確認します。
Q42. 配信直後と長期の効果を、同じ期間で測れますか？
A. 分けて測ります。クリックや初回購入は数日から数週間、再購入や解約は数か月など、成果が表れる時期が異なります。それぞれに適した確認期間を決めます。
Q43. セールや大型連休をまたぐテストは、どう扱いますか？
A. 施策を行う人と行わない人が、同じセールや連休の影響を受けるように分けます。期間中に大きな環境変化があった場合は、全期間の結果に加えて週ごとの結果も確認します。
Q44. 新しい施策の初回だけ成果が高い場合、どう判断しますか？
A. 初めて見たことによる一時的な反応や、繰り返し配信による飽きが考えられます。別の時期や複数回の配信でも成果が続くか、配信停止や苦情が増えないかを確認します。
Q45. テスト終了後も、顧客行動を追跡する必要がありますか？
A. 必要です。配信直後は売上が増えても、その後の購入が減る、返品が増える、配信停止される場合があります。商品の購入周期に合わせて、遅れて現れる影響まで確認します。
10. 効果測定レポートに関する5つの質問
Q46. 効果測定レポートには、何を載せますか？
A. 施策の目的、予想、対象者、実施・非実施の分け方、期間、重視した数値、結果の差、費用、判断、次に行うことを載せます。計算条件も残すと、後から確認しやすくなります。
Q47. 効果の不確実性を、社内へどう伝えますか？
A. 結果を「効果あり・なし」だけで示さず、考えられる成果の範囲、対象人数、未取得データ、計算の前提を記載します。判断できない点も隠さず説明します。
Q48. 顧客群別の結果を、どこまで細かく掲載しますか？
A. 事前に違いを確認したいと決めた顧客層で、十分な人数があるものに絞ります。細かく分けすぎると偶然の差が出やすいため、人数が少ない結果は参考情報として扱います。
Q49. 後から同じ結果を再現できるレポートにするには？
A. 施策ID、対象者の抽出条件、対象外にした条件、集計日、計算式、使用データの版を保存します。Excelで手作業修正した数値だけを貼らず、元データから同じ集計を再現できるようにします。
Q50. 効果測定レポートが意思決定に使われたか、どう確認しますか？
A. レポート作成後に、施策を続けたか、止めたか、対象を変えたか、追加検証したかを記録します。担当者と期限も決め、次回会議で完了を確認します。閲覧数だけでは判断しません。
まとめ
CRM施策は、施策を行わなくても起きた購入と、施策によって新たに増えた購入を分けて評価することが重要です。実施する人としない人、確認期間、費用の範囲を事前に決め、売上だけでなく粗利や顧客への影響も確認しましょう。
関連情報
LTV-Labの機能：https://ltv-lab.jp/function/
料金：https://ltv-lab.jp/price/
無料デモ・お問い合わせ：https://ltv-lab.jp/contact/
LTVラボの記事一覧：https://ltv-lab.jp/ltvlab/