定期販売ラボby Shopi Lab
継続率・解約

AIに解約分析を頼む前にそろえる5つの項目 — 定義を渡さないと嘘が返る

AIに解約データを渡すと、それらしい分析がすぐ返ってきます。ただし回数の数え方や母数の定義を渡さないまま頼むと、辻褄の合う誤った結論が返ります。先に固定する5項目と、出力の照合手順を整理します。

解約データをAIに渡すと、傾向・原因・改善案まで一気に返ってきます。ここで見落とされがちなのは、AIは「あなたの会社の解約の数え方」を知らないという点です。回数の数え方、母数の定義、観測期間を指定しないまま渡すと、AIはそれらしい前提を自分で補って、辻褄の合う分析結果を返します。数字は整っているのに、前提が自社の実態とずれている、という状態です。

これはAIの精度の問題ではありません。データ定義を決める仕事を、人がAIに渡す前にやっていないという運用の問題です。

なぜ「それらしい嘘」が返るのか

解約の数え方は会社によって違います。

  • 「解約」に決済失敗による停止を含めるか
  • 回数を数えるとき、初回発送を1回目と数えるか0回目と数えるか
  • 分母は月初の稼働件数か、期間内にアクティブだった契約数か、当月の新規を含めるか

これらは解約率の測り方で整理した通り、事業ごとに定義が割れる項目です。AIにデータだけを渡してこの定義を渡さないと、AIは一般的な定義(多くの場合、単純な件数ベースで新規込みの分母)を勝手に採用して計算します。出力は自然な文章と整った数字で返ってくるため、前提が違っていることに気づきにくいのが厄介な点です。

「なぜ解約率が上がったか教えて」という頼み方も同じ構造の問題を持ちます。AIは渡されたデータの範囲で辻褄の合う理由を作文できてしまうため、根拠のない因果関係を、根拠があるかのような文章で返すことがあります。 ここを防ぐには、渡す前にこちらでデータの定義を固定しておくしかありません。

渡す前にそろえる5項目

次の5つは、分析を頼む前に人が決めて、プロンプトやデータの説明として明示してください。

1|回数別の切り方

  • 初回発送を1回目とするか、0回目とするか
  • 「n回目からn+1回目までの離脱」を、何を基準に集計するか(発送基準か、請求基準か)

この定義が曖昧だと、「3回目の離脱が多い」という結果が、実際には2回目の離脱を指していることがあります。初回解約を減らすで扱う「初回から2回目の山」を見るときは特に、ここがずれると打ち手を間違えます。

2|停止理由の区分

  • 自発的解約(顧客が解約を選んだ)と非自発的解約(決済失敗などで止まった)を分けているか
  • 理由カテゴリの粒度(「価格」「量」「使い切れない」など)をどこまで細かくするか

区分をAI任せにすると、理由コードが空欄や不明なレコードを、AIが多数派の理由に按分して埋めてしまうことがあります。空欄は空欄のまま渡し、「不明」の件数も分析結果に含めるよう指定してください。

3|決済失敗の扱い

決済失敗による停止を、解約に含めるか、別集計にするかを先に決めます。含めたまま「解約率」として渡すと、カードの有効期限切れのような顧客が離れたいわけではない件数が、離脱の原因分析に混ざります。決済失敗を解約にしないで扱う通り、ここは打ち手が完全に別なので、渡す段階で分けてください。

4|母数の定義

  • 分母は月初の稼働件数か、期間内アクティブ件数か
  • 当月の新規獲得を分母に含めるか

分母の定義を渡さずに「解約率を計算して」と頼むと、AIはデータに含まれる件数をそのまま分母に使いがちです。新規が伸びている月ほど解約率が低く見える計算方法になっていないか、渡す前に確認してください。

5|観測期間

  • いつからいつまでのデータか
  • 期間内にキャンペーンや価格改定などの特殊要因がある月を含むか

観測期間を指定しないと、AIは渡されたデータの全期間を均等に扱います。繁忙期や特売月が混ざったまま「傾向」を聞くと、季節要因を施策の効果と取り違えた結論が返ってきます。

渡し方

5項目を固定したら、データそのものではなくデータ定義書として渡してください。

  • 各項目の定義を先に文章で書き、その後にデータを渡す
  • 「不明」「空欄」のレコードを埋めずにそのまま渡し、除外や補完をしないよう明示する
  • 「この定義に従って集計してください。定義に無い判断はせず、不明な点は質問してください」と指示する

ecforceのようにAIが受注データを直接参照できる環境でも同じです。ecforce AIで何ができるかで整理した通り、AIによる受注分析はecforce AIの基本機能に含まれますが、「解約」をどう定義するかまでは業務側の設定です。 AIが持っているのは生データへのアクセスであって、自社の定義ではありません。

出力をどう照合するか

分析結果を受け取ったら、使う前に次の手順で照合してください。

  1. サマリー数値を1つ選び、元データで手計算する。 全部を検算する必要はありません。全体解約率や特定月の件数など、代表的な1〜2個を自分で計算し、AIの出力と一致するか確認します。ここが合わなければ、他の数値も信用できません
  2. 母数と対象期間が、指定した定義と一致しているかを本文で確認する。 AIの出力に「対象期間:◯月〜◯月、母数:◯件」のような前提が書かれているか確認し、書かれていなければ質問して出させてください
  3. 因果を主張している箇所を、相関の記述に読み替える。 「◯◯が原因で解約が増えた」という文があれば、それが実際にはどのデータから導かれたのかを聞き返します。同時期に動いていた他の施策(広告・価格・LP変更)を答えられなければ、その因果主張は保留してください
  4. コホート表や回数別離脱表は、行・列を1つずつ元データの件数と突き合わせる。 解約率の測り方のコホート表のように、集計後の表だけを見ると誤りに気づきにくい形式ほど、部分的な検算が要ります

この照合を経ていない分析結果は、社内共有の資料であっても「未検証」と明記してから回してください。数字が整っているほど、検証されていないことが伝わりにくくなります。

まず手元で整理してから渡す

5項目の定義と観測期間の切り出しは、AIに投げる前に自社で決める作業です。件数ベース・金額ベース・コホート別・回数別の4つを紙かシートの上で一度整理してから、AIへの指示に落とし込むと、定義の抜けに気づきやすくなります。解約分析ワークシートに、その4つを記入する表と、初回解約の原因チェック欄をまとめています。

よくある質問

Q. AIに解約データを渡すとき、生データをそのまま渡してはいけませんか

生データを渡すこと自体は問題ではありません。問題は、回数の数え方・母数・観測期間などの定義を渡さないまま「分析して」と頼むことです。定義を渡さないと、AIが一般的な前提を勝手に補って計算します。

Q. 決済失敗による停止は解約に含めるべきですか

含めるかどうかより先に、分けて集計することが重要です。決済失敗は顧客が離れたいわけではない停止で、打ち手も解約とは別(通知・リトライ・更新導線)になります。合算したまま原因分析に渡すと、対策が的外れになります。

Q. AIの分析結果はどこまで信用してよいですか

代表的な数値を自分で検算し、母数と対象期間がこちらの定義と一致しているかを確認するまでは、未検証として扱ってください。特に「◯◯が原因」という因果を主張する文は、同時期の他の施策を確認してから採用するかどうか判断します。

Q. 5項目を全部そろえないと分析を頼んではいけませんか

そろえるほど誤りは減りますが、優先度をつけるなら回数別の切り方と母数の定義を先に固定してください。この2つが曖昧だと、他の3項目を固定しても数字自体がずれます。

Q. 定義をそろえる作業は誰がやるべきですか

解約の数え方を普段運用している担当者です。AIにもカート・MAツールにもこの定義は無く、自社の運用ルールとして人が決めるしかありません。決めた定義は解約分析ワークシートのような形で残し、AIに渡すたびに使い回せるようにしておくと、毎回の指示が短くなります。