「データ不足」と「分析不足」を混同してはいけない：追加計測の前に確認すること
更新日：9月20日
何かを判断できないとき、「データが足りない」という説明はとても使いやすい言葉です。
実際、施策前の基準値がない、比較対象がない、顧客や来訪者を識別できない、費用と成果をつなげられないなど、本当に観測値が足りない場合もあります。
一方で、必要なデータ自体はすでに存在しているのに、集計、比較、分解、検証が行われていないだけ、ということもあります。
この二つを同じ「データ不足」と呼ぶと、打ち手を誤ります。
分析不足をデータ不足と誤認すれば、調査項目、ツール、ダッシュボード、外部データの購入費だけが増える
データ不足を分析不足と誤認すれば、存在しない比較条件や因果関係を分析で作ったように見せる
ここで考えたいのは、追加計測へ進む前に、不足しているものが何かを切り分けることです。
現有データでまだできることが残っているのか。それとも、新しい観測がなければ原理的に答えられないのか。
「足りない」の中身は、少なくとも四つある
「データが足りない」と言う前に、少なくとも次の四つを分けます。
層 | 不足しているもの | 典型的な状態 | 主な対応 |
1．データ不足 | 判断に必要な観測値、基準値、比較対象、識別情報 | 施策前データがない、対象者を区別できない、費用が記録されていない | 新規取得、設計変更、判断可能範囲の縮小 |
2．データ整備不足 | 接続可能性、定義、品質、利用権限 | 部署・委託先ごとに分散、IDや期間が不一致、欠損・重複が多い | 棚卸し、定義統一、名寄せ、品質監査、権限整理 |
3．分析不足 | 比較、分解、推定、感度確認 | 合計・平均だけ、前年同月比較だけ、セグメントや要因分解がない | 現有データで最小分析を実施 |
4．意思決定設計不足 | 判断基準、選択肢、責任者、実行条件 | 分析結果が出ても継続・変更・停止が決まらない | 閾値、分岐、期限、権限を先に定義 |
追加データが必要なのは、整備と分析を行ってもなお、意思決定を左右する不確実性が残る場合です。
もちろん、分析を高度化すれば何でも分かるわけではありません。施策前の状態や比較対象、必要な分母そのものが存在しないなら、後から分析で作り出すことはできません。
既存データで答えられる問いを放置して、新しいデータへ逃げない。同時に、観測されていない事実を、分析で分かったことにしない。
この二つを同時に守る必要があります。
なぜ、何でも「データ不足」に見えてしまうのか
「データ不足」という説明は、組織にとって扱いやすいものです。
データが足りないのであれば、新しいアンケート、計測ツール、外部データ、システム連携等を導入できます。予算、業務、成果物の形が見えやすく、責任も技術や環境へ置けます。
一方、「分析不足」には、より不都合な問いが含まれます。
既に集めたデータを、誰も使っていないのではないか
月次報告は、集計表の更新で終わっていないか
発注者も受託者も、何を比較すべきか決めていないのではないか
目的と指標の関係が曖昧なままではないか
分析結果によって、予算や施策を変える権限がないのではないか
「分からない」と結論するより、データ不足を理由に先送りしていないか
データ不足なら、新しいツールや調査へ予算を付けやすい。他方、分析不足だとすれば、いまの業務、発注、能力、会議のあり方そのものを見直さなければなりません。
その意味で、分析されていないだけの問題が、データ量の問題へ置き換わることは十分にあり得ます。
データ不足は、外部資源を追加すれば解決するように見えます。分析不足は、現在の仕事の設計そのものを問い直します。
問いが違えば、必要なデータも変わる
同じデータであっても、答えられる問いの水準は異なります。
知りたいこと | 問いの例 | 必要になる主な証拠 |
記述 | 何が、どれだけ起きたか | 指標定義、対象範囲、期間、分母、集計値 |
比較 | どこで、いつ、誰に差があるか | 比較可能な定義、時系列、地域・顧客・商品等の区分 |
診断 | 何が変化と関連しているか | 要因候補、セグメント、導線、供給制約、外部環境 |
因果 | 施策がなければ起きなかった変化は何か | 基準値、実施時点、接触・非接触、比較群、交絡要因、識別戦略 |
予測 | 今後、何が起きる可能性が高いか | 十分な履歴、説明変数、検証用データ、環境変化の確認 |
意思決定 | どの選択肢を実行すべきか | 効果に加え、費用、利益、リスク、実行可能性、判断閾値 |
例えば、「広告配信後にWebサイト訪問が増えたか」は、時系列データで記述できます。
しかし、「広告がWebサイト訪問を何件追加したか」は、広告がなかった場合との比較が必要です。さらに「広告を来年度も継続すべきか」には、追加訪問だけでなく、対象者、問い合わせ・予約への転換、費用、限界利益、他の選択肢との比較が必要です。
問いの水準を上げれば、必要証拠も増えます。
逆に、記述だけで足りる判断へ、完全な因果推定を求める必要はありません。必要なのは、意思決定の重要性と誤判断の損失に比例した証拠です。
英国政府のAQuA Bookは、分析を、意思決定に使うための情報・データの収集、操作、解釈を含む過程として扱い、問い、方法、入力、検証、妥当性確認、利用方法までを分析計画へ含めています。データが存在することは、分析が完了していることを意味しません。
存在するデータと、判断に使えるデータは同じではない
データが保存されていても、そのまま分析に使えるとは限りません。
次の状態は、厳密にはデータ不足ではなく、データ整備不足です。
SNS、広告、Webサイト、予約、POS、アンケートが別々に保存されている
同じ「来訪者」「問い合わせ」「新規顧客」が部署・委託先ごとに異なる定義で集計されている
日次、月次、年度単位が混在し、期間をそろえられない
顧客、商品、地域、キャンペーンを接続する共通IDがない
欠損、重複、表記揺れ、除外条件が記録されていない
集計済みのPDFしか残らず、元データへ戻れない
データは存在するが、契約・権限・個人情報管理上、分析担当者が利用できない
委託終了時に、定義書、抽出条件、加工履歴が引き継がれていない
米国会計検査院のデータ信頼性評価ガイドは、データの信頼性を、正確性と完全性だけでなく、利用目的への適合性を含めて評価しています。
売上データが正確でも、広告効果を知りたいのに広告接触と接続できなければ、その目的には不十分です。アンケート回答が正確でも、回答者が来訪者全体を代表しなければ、地域全体へ一般化できません。
したがって、データ棚卸しでは「ある／ない」だけでなく、次を確認します。
誰・何を一単位として記録しているか
どの期間・時点を示すか
指標の定義と除外条件は何か
元データか、加工後の集計値か
他のデータと何で接続できるか
欠損、重複、入力変更はどの程度か
誰が、何の目的で利用できるか
いつまで有効で、更新されるか
この監査を行わずに新しいデータを追加すると、分断されたデータがさらに増えます。
追加取得の前に、最低限ここまでは分析する
追加取得へ進む前に、現有データで次の分析を順に行います。すべての案件で高度な統計モデルが必要なわけではありません。
1．何を数え、何で割っているのか
件数だけでなく、何件中の何件かを確認します。
問い合わせ100件は、訪問者何人に対する100件か
購入者500人は、来店者・サイト訪問者何人に対する500人か
回答者の満足度80％は、対象者何人、回答率何％から算出したか
リーチ10万は、重点対象者をどの程度含むか
分母と対象範囲がない絶対数は、規模を示しても効率や転換を示しません。
2．同じ条件を比べているか
前月比、前年比、地域差、商品差を計算する前に、期間、営業日数、予算、在庫、投稿本数、季節、価格、計測定義等をそろえます。
前年より売上が増えても、営業日数、価格、在庫、広告費が同じとは限りません。フォロワーが増えても、広告、キャンペーン、懸賞の実施条件が異なれば、通常運用の改善とは分ける必要があります。
3．合計の中身を分ける
全体平均だけでは、内部の変化が打ち消し合います。
新規顧客と既存顧客
地域内と地域外
商品、店舗、事業者、地区
自然流入と広告流入
投稿形式、題材、配信対象
平日と休日、通常期と繁忙期
来訪、購入、再購入、離脱
全体が横ばいでも、重要顧客が減り、非重点層だけが増えている場合があります。反対に、全体規模が小さくても、高利益商品や新規顧客が増えていれば評価は変わります。
4．時間と途中経路を見る
一時点の結果だけでなく、施策前後の推移、季節性、先行指標と成果の時間差を確認します。
また、認知、検索、サイト訪問、問い合わせ、予約、購入等を一つの導線として見ます。どこまで進み、どこで止まったかが分かれば、データを追加する前に改善箇所を絞れます。
5．別の原因でも説明できないか
観測された変化が、施策以外でも説明できないか確認します。
季節、天候、連休、イベント
価格改定、在庫、営業時間、交通
報道、口コミ、競合施策
計測方法やアルゴリズムの変更
既存需要の前倒し
対象者構成の変化
ここで行うのは、因果関係の証明ではありません。単純な成功説明に対する反対仮説を列挙し、どの説明が現有データと整合するかを確認する作業です。
6．前提が少し変わると結論も変わるか
期間、除外条件、指標定義、セグメント、外れ値の扱いを変えても、結論が維持されるかを確認します。
同じデータでも、分析上の選択によって結果は変わり得ます。Silberzahnらの研究では、61人・29チームが同一データと同一の研究質問を分析したところ、推定オッズ比は0.89から2.93まで分かれ、20チームは統計的に有意な正の関係を、9チームは有意ではない関係を報告しました。Silberzahn et al., 2018
これは、自治体・DMOの実務分析も同程度に分散することを示す研究ではありません。また、異なる分析結果のうち一つだけが正しいとも限りません。
それでも、データが同じなら結論も自動的に一つへ決まるわけではなく、変数定義、除外、モデル、調整項目等の分析仕様を明示し、複数の妥当な仕様で結論が維持されるか確認すべきことは示しています。
合計値が増えただけでは、何が良くなったか分からない
次は、分析の違いを示すための仮想例です。実在する事業の成果を示すものではありません。
ある誘客施策を実施した地域と、実施していない比較地域で、来訪件数が次のように変化したとします。
地域 | 施策前 | 施策後 | 増加数 |
施策実施地域 | 500件 | 650件 | ＋150件 |
比較地域 | 500件 | 600件 | ＋100件 |
合計 | 1,000件 | 1,250件 | ＋250件 |
合計だけを見れば、来訪件数は25％増加しています。
増加率：1,250件 ÷ 1,000件 − 1 ＝ 25％
施策実施地域だけを見れば、施策後に150件増えています。しかし、比較地域でも100件増えています。
仮に、両地域が施策以外の影響を同程度に受け、施策がなければ同じ増加傾向をたどったと置けるなら、単純な差の差は50件です。
施策実施地域の増加：650件 − 500件 ＝ 150件
比較地域の増加：600件 − 500件 ＝ 100件
差の差：150件 − 100件 ＝ 50件
同じ四つの観測値から、次の三つの記述が作れます。
全体では250件、25％増えた
施策実施地域では150件増えた
比較地域の変化を差し引くと、追加分は50件と推定される
ただし、この50件を直ちに施策の因果効果と断定してはいけません。少なくとも、施策前に両地域が同様の推移をしていたか、地域固有のイベントや供給制約がなかったか、計測方法が同じか等を確認する必要があります。
過去の複数時点がなく、比較地域の条件も異なるなら、ここで残るのは分析不足ではなく、評価設計・データ不足です。
英国政府のQuality in Policy Impact Evaluationも、結果が変化したことと、施策がその変化を生んだことを分け、後者には施策がなかった場合を示す反実仮想との比較が必要だとしています。
分析は、同じデータからでも見える構造を増やせます。しかし、観測されていない過去や比較対象を、後から事実として作ることはできません。
それでも、本当にデータが足りない場合
最小分析を行った後、次の情報が欠けているなら、追加取得または次回の計測設計が必要です。
成果そのものが測られていない
認知を目的としながら理解や想起を測っていない、来訪を目的としながら来訪記録がない、再購入を目的としながら顧客を継続識別できない場合です。
分母がない
購入件数はあるが来店者数がない、回答件数はあるが対象者数がない、問い合わせ件数はあるが流入母数がない場合、率や転換を評価できません。
施策前の基準値がない
施策後の数字だけでは、変化量を計算できません。英国政府のMagenta Book 2026年版は、基準値や比較データを早期に確保しなければ、評価が不可能、著しく限定的、または不必要に高額になり得るとしています。
比較対象がない
全地域・全顧客へ同時に施策を実施し、非実施対象や段階導入がなければ、外部変化との区別が難しくなります。
接触・実施情報がない
誰が広告、投稿、支援、イベント等へ接触したか分からなければ、接触者と非接触者を比較できません。
時点・単位・IDが不足している
年度合計だけ、地域全体だけ、集計済みPDFだけでは、時系列、顧客別、商品別、施策別の分析ができません。
重要な費用・制約が記録されていない
成果が分かっても、広告費、職員工数、委託費、値引き、在庫、受入能力等がなければ、採算や実行可能性を判断できません。
これらは、分析者の工夫だけでは完全に補えません。代理指標、仮定、外部データで一部を推定できる場合はありますが、追加の不確実性を明示する必要があります。
追加取得の前に、不足の場所を診断する
実務では、次の順序で確認します。
1．何を決めたいのかを書く
継続、増額、対象変更、内容変更、委託範囲変更、縮小、停止等、実際の選択肢と決定期限を一文で書きます。
2．何が分かれば決められるのかを書く
「成果を把握したい」では足りません。
重点市場からの新規来訪が増えたか
広告がなければ発生しなかった予約は何件か
売上減少は需要不足か、欠品・営業時間等の供給制約か
現行委託を増額した場合、追加費用を上回る成果が期待できるか
命題が異なれば、必要なデータと分析も異なります。
3．すでにあるデータを並べる
データ名、管理者、期間、単位、粒度、定義、元データの有無、接続キー、品質、利用権限を一覧化します。
4．現有データで最小限の分析をする
定義・分母、比較条件、セグメント、時系列、導線、代替説明、感度を確認します。ここで答えられる問いは、追加取得せずに結論へ進みます。
5．残った不確実性の種類を分ける
残った不確実性が、次のどれかを明示します。
データを整備・接続すれば答えられる
分析方法を変えれば答えられる
新しいデータを取らなければ答えられない
今後の事前設計を変えなければ答えられない
費用や制約上、現実的には答えられない
答えがなくても、現時点の判断は変わらない
6．最後に、不足した部分だけ取る
新規取得は、「何となく有用そうな項目」ではなく、判断を妨げている欠損へ限定します。取得後に行う分析と、結果別の対応も先に決めます。
「もっとデータを」が誤診になりやすい場面
SNSの成果が分からないので、指標を増やす
投稿別の到達、反応、形式、題材、広告有無、外部クリックが既にあるのに、媒体内の合計値だけを報告しているなら、まず分析不足です。
一方、重点対象者への到達、検索・予約・来訪との接続、新規・既存の区別が必要なのに取得していないなら、その部分はデータ不足です。
「媒体内で何が起きたか」と「事業成果へ何が追加されたか」を同じデータで答えようとしてはいけません。
アンケート結果が使えないので、質問を増やす
回答者属性があるのに、全体平均しか見ていないなら分析不足です。属性別、来訪目的別、初回・再訪別、時期別に分ければ、重要な差が見える場合があります。
一方、対象者数、抽出方法、回答率、非回答者の情報がなく、回答者が母集団を代表するか確認できないなら、調査設計・データ不足です。質問数を増やしても代表性は改善しません。
売上減少の原因が分からないので、市場調査を行う
POS、価格、販売点数、客数、客単価、SKU、在庫、欠品、営業時間等があるなら、先に売上を分解します。
売上減少が客数、購入率、単価、品揃え、欠品のどこで起きたかを確認せずに外部市場調査へ進むと、内部の供給問題を需要不足と誤認する場合があります。
ただし、競合価格、未購入者、認知、商圏人口等、内部データでは観測できない需要側の情報が判断を左右するなら、限定的な追加調査が必要です。
施策効果が不明なので、高度な分析ツールを導入する
基準値、比較対象、実施時点、対象者識別がない場合、分析ツールを高度化しても因果効果は自動的に識別されません。
必要なのは高性能な画面ではなく、評価質問と実施設計です。次回は段階導入、対象の一部留保、事前基準値、共通ID等を事業設計へ組み込みます。
データ不足を減らすには、報告と発注も変える
「データが不足しています」という一文だけでは、発注者は追加費用の妥当性を判断できません。
月次報告では、少なくとも次の順序で記載します。
今回判断したい事項
現有データで確認できた事実
実施した比較・分解・検証
現有データから言えること／言えないこと
残る不確実性が、データ・整備・分析・意思決定設計のどこにあるか
追加取得する場合の項目、方法、費用、時期
追加情報によって変わる判断
委託仕様書には、データ提出だけでなく分析要件を記載します。
元データと集計表の提出範囲
指標定義、分母、除外条件
期間、地域、対象者、施策別の比較単位
新規・既存、自然・有料等の区分
前年・前月だけでなく、判断に必要な基準値
変化要因の仮説と反対仮説
分析仕様、加工履歴、使用データの記録
感度確認と限界
追加計測が必要な場合の提案条件
結果から導く継続・変更・停止の選択肢
分析を委託範囲へ含めず、データ提出だけを求めれば、納品物は数字の一覧になります。反対に、因果推定に必要な設計とデータを用意せず、「効果を証明すること」を受託者へ求めても実現できません。
発注者は、取得、整備、分析、解釈、意思決定の責任分界を明示する必要があります。
追加計測の前に確認すること
具体的に何を決めるための分析か
判断したい命題は、記述・比較・診断・因果・予測・意思決定のどれか
必要な証拠水準は、誤判断の損失に比例しているか
現有データの管理者、期間、単位、粒度、定義を把握したか
元データへアクセスできるか
他データと接続できる共通ID・期間・地域区分があるか
欠損、重複、除外、定義変更を確認したか
件数だけでなく、分母と対象範囲を確認したか
比較条件をそろえたか
合計・平均を、顧客・地域・商品・施策等で分解したか
時系列、導線、コホートを確認したか
季節、価格、在庫、競合等の代替説明を検討したか
分析期間や除外条件を変えても結論が維持されるか
因果を問う場合、基準値と反実仮想の根拠があるか
現有データから言えること／言えないことを分けたか
残った不確実性は、本当に意思決定を変えるか
追加データで、その不確実性を減らせるか
取得後に行う分析と結果別対応を先に決めたか
追加取得より、既存データの整備・接続・分析の方が安くないか
今回答えられない問いを、次回事業の事前設計へ反映したか
回答できない項目が多い場合、直ちに新しいデータを取得するべきではありません。
まず、現有データの棚卸しと最小分析を行います。その結果、判断を左右する欠損が特定できた場合だけ、追加取得へ進みます。
次に追加するものではなく、足りない層を決める
次の調査項目を考える前に、不足しているのが観測値、整備、分析、意思決定設計のどれかを一つだけ仮置きしてください。
「データが足りない」は、最後に残る結論であるべき
データ不足と分析不足は、どちらも「判断できない」という同じ症状を生みます。
しかし、必要な対処はまったく異なります。
データ不足には、事前計測、比較対象、共通ID、新規調査等が必要になる
データ整備不足には、棚卸し、定義統一、接続、品質監査が必要になる
分析不足には、分母、比較、分解、時系列、導線、反対仮説、感度確認が必要になる
意思決定設計不足には、選択肢、閾値、期限、責任、実行権限が必要になる
区別しないままデータを増やせば、分析されないデータだけが増えます。
反対に、観測されていないものを分析で埋めようとすれば、精密に見える推測が増えます。
追加取得へ進む順序は、次のとおりです。
何を決めるかを明確にする
現有データを棚卸しする
定義・品質・接続可能性を確認する
現有データで最小分析を行う
言えること／言えないことを分ける
判断を左右する欠損だけを特定する
追加データの費用対効果を判断する
「データが足りない」は、現有データでできることをやった後に残る結論である方がよい。分析を始めない理由として使うべきではありません。
同時に、「分析すれば分かる」は、観測されなかった事実を埋める免罪符にもなりません。
必要なのは、データ量を増やすことでも、分析を複雑にすることでもありません。
どの不確実性がどの層にあり、何をすれば判断可能になるのかを切り分けることです。
データ不足と分析不足の切り分けから、追加取得の費用対効果、必要精度、非取得、実験判断まで進む場合は、「意思決定に必要なデータを選ぶ記事ガイド」で関連論点を横断できます。
外から見る意味が生まれるのは、不足の所在が分からないとき
株式会社Kerzeでは、自治体、DMO、観光協会等のデジタルプロモーションについて、現在の報告・データから判断できる範囲と、判断できない範囲を整理します。
KPI、計測方法、月次報告の整合確認
現有データの棚卸しと分析論点の設計
集計値から確認できる事実、推論、仮定の分離
追加計測が必要な論点と、既存分析で足りる論点の区別
次年度の継続、変更、縮小、停止に必要な判断条件の整理
委託仕様書、報告項目、評価基準の再設計
新しいツールや大規模調査の導入、既存委託先の変更を前提とはしません。まず、現在保有している証拠で何を判断できるかを確定し、不足部分だけを明示します。
原資料・参考資料
株式会社Kerzeについて
なんとなく”を終わらせる。根拠を持って「続ける・見直す・止める」を判断できる状態へ。
「どう解決するか」の前に、「何を解決するか」を適切に定めることを何より大切だと考え、株式会社Kerzeは、自治体・各種組合・商社/小売店に対し、事業戦略とマーケティング実務をつなぐ支援を行ってきました。戦略・目的・KPI、予算・発注、業務実施体制を整理しながら、SNS・広告・Web・販促・データ活用などの実務まで、必要な範囲を見定め、実行も含め支援いたします。
執筆・編集：株式会社Kerze
