正確なデータを集めるほど良いとは限らない：精度とコストの最適点をさぐる
更新日：9月20日
データに基づいて判断しようとすると、もっと回答数を増やしたい、もっと細かく分けたい、もっと早く取りたい、もっと誤差を減らしたい、という要求が出てきます。
回答数をもっと増やす
全数調査に近づける
市町村別、年代別、顧客別に細かく分ける
月次ではなく、週次・日次・リアルタイムで取得する
欠損や誤差をできる限りなくす
外部データを追加し、推定値を精密にする
どれもデータ品質を高める正当な方法になり得ます。ただ、精度を上げるほど意思決定まで良くなるとは限りません。
標本数を増やして誤差幅を小さくしても、継続・変更・停止の判断が変わらないことがあります。精査している間に、予算編成や発注、在庫補充、広告変更の期限を過ぎることもある。さらに、回答数だけ増やして対象者の偏りを放置すれば、偏った値を高い精密さで示すだけになります。
ここで考えたいのは、取得対象を決めた後、どこまで精度を上げれば十分かという問題です。
追加の正確性、標本数、粒度、速度へ、どこまで費用と時間を投じるべきか。
最高精度ではなく、判断に足る精度を決める
最適なデータ精度は、技術的に実現できる最高精度ではありません。
必要なのは、次の条件を満たす最低十分精度です。
誤差を含む結果の範囲を見ても、選択肢を区別できる
誤判断による損失の大きさに見合っている
判断を変更できる期限までに得られる
標本誤差だけでなく、偏り、測定、欠損、処理等の主要な誤差を管理している
追加精度による判断改善の期待価値が、追加費用と遅延損失を上回る
結果の用途、対象集団、細分化の水準に適合している
当然ながら、必要な精度は一律には決まりません。
判断の性質 | 必要精度の考え方 |
低額で、容易に修正できる | 早い概算、小規模検証、幅を持った推定でもよい |
高額だが、段階的に実施できる | 初期は粗く、追加投資の直前に精度を上げる |
高額で、不可逆性が高い | 大きな標本、比較設計、感度分析、強い品質保証が必要 |
安全、権利、重大な不利益に関わる | 平均的費用対効果だけで精度を下げず、見逃しリスクを重く扱う |
日次で変更可能な運用 | 完璧さより速度を優先し、継続更新で補正する |
年次の契約・予算判断 | 締切前に必要精度へ到達するよう、逆算して取得する |
英国政府の2025年版「AQuA Book」は、分析品質を用途への適合として捉え、分析の影響とリスクに応じて品質保証を比例させる考え方を示しています。単純で意思決定への影響が小さい分析へ、数か月を費やして保証する必要はないと明記しています。
精度は高ければ高いほどよいのではありません。判断境界を区別できるところまで高め、それ以上の精密化には追加価値を求めます。
「正確」という一語で、何を求めているのか
実務では、「正確」という言葉が複数の品質を混同させます。
品質 | 問うべきこと | 高める方法の例 |
概念適合性 | 本当に知りたい対象を測っているか | 指標定義、質問設計、成果との接続を見直す |
正確性 | 真の状態から系統的にずれていないか | 対象者選定、測定方法、補正、検証を改善する |
精密性 | 繰り返し測ったときのばらつきが小さいか | 標本数、測定回数、測定機器の精度を上げる |
網羅性 | 必要な対象や項目が欠けていないか | 対象範囲、データ連携、欠損対応を改善する |
適時性 | 判断期限までに得られるか | 暫定値、速報、取得頻度、処理工程を見直す |
比較可能性 | 前年、地域、顧客群と同じ定義で比較できるか | 定義、分類、期間、集計単位を統一する |
粒度 | 実行単位まで分解できるか | 地域、顧客、商品、媒体等の区分を設計する |
例えば、回答数を10倍に増やせば精密性は上がり得ます。しかし、回答者が既存ファンへ偏っていれば、対象市場全体の評価としての正確性は上がりません。リアルタイム集計へすれば適時性は上がりますが、重複除去や返品反映が遅れれば正確性は下がる場合があります。
OECDの統計品質枠組みも、品質を正確性だけでなく、関連性、信頼性、適時性、アクセス可能性、解釈可能性、整合性、費用効率等から捉え、適時性と正確性を調整する必要を示しています。
つまり、正確性を一方向に最大化するのではなく、用途に必要な品質の組合せを設計する必要があります。
標本を増やすほど、追加の改善は小さくなる
単純無作為抽出を仮定した基本的な推定では、標準誤差は標本数の平方根に反比例します。
誤差幅をおおむね半分にするには、標本数を約4倍にする必要がある。
母比率を推定する単純な近似では、必要標本数は次の形で表されます。
必要標本数 ≒ 信頼係数² × 想定比率 ×（1－想定比率）÷ 許容誤差²
米国国立標準技術研究所（NIST）のサンプルサイズ解説も、比率推定の必要標本数が許容誤差の二乗に反比例する式を示しています。
母集団が十分に大きく、単純無作為抽出、95％信頼水準、比率50％を仮定した説明用近似では、必要標本数は概ね次のようになります。
許容する誤差幅 | 必要標本数の概算 | 誤差幅5％との比較 |
±10ポイント | 97件 | 約0.25倍 |
±5ポイント | 385件 | 基準 |
±3ポイント | 1,068件 | 約2.8倍 |
±2ポイント | 2,401件 | 約6.2倍 |
±1ポイント | 9,604件 | 約24.9倍 |
小数点以下を丸めた近似値であり、一般にそのまま使用できる標本数表ではありません。有限母集団、層化・クラスター抽出、重み付け、非回答、比較群、検出したい差、検定の多重性等によって必要数は変わります。
重要なのは、費用が直線的に増えても、誤差幅は同じ速度では縮まらないことです。385件から約25倍の9,604件へ増やしても、誤差幅は5分の1になるだけです。
100件、400件、1,600件で、判断は本当に変わるか
次の数値は、判断方法を示すための仮想例です。実在する事業の成果や調査相場を示すものではありません。
ある地域事業で、来訪者の「再来訪意向」を調査し、次年度の重点施策を判断するとします。判断規則は取得前に次のように定めています。
55％を上回ると判断できる：既存顧客向け施策を拡大する
45～55％の範囲：限定的な改善実験を続ける
45％を下回ると判断できる：商品・受入・訴求を再設計する
調査結果が62％だった場合、単純無作為抽出と通常近似を仮定した95％信頼区間の概算は次のとおりです。
有効回答数 | 推定値 | 95％信頼区間の概算 | 判断 |
100件 | 62％ | 約52.5～71.5％ | 55％をまたぐため、拡大判断には不十分 |
400件 | 62％ | 約57.2～66.8％ | 区間全体が55％を上回り、拡大判断が可能 |
1,600件 | 62％ | 約59.6～64.4％ | 精度は上がるが、判断は400件と同じ |
仮に設計・報告の固定費が20万円、有効回答1件当たりの取得・確認・整備費が2,000円なら、総費用は次の概算になります。
有効回答数 | 総費用の仮定 | 400件から見た追加費用 |
100件 | 40万円 | ― |
400件 | 100万円 | ― |
1,600件 | 340万円 | 240万円 |
400件から1,600件へ増やせば、区間は狭くなります。しかし、施策選択が同じなら、追加240万円はこの判断を改善していません。
もちろん、62％という一点推定値は調査前には分かりません。実務では、想定される複数の結果について、追加標本が判断を変える確率と、誤判断を避ける価値を取得前に評価します。
前稿「そのデータを取得して、意思決定は本当に変わるのか」で扱った結果―行動表は、必要精度の設計にも使えます。結果の区分間に判断境界がなければ、必要な誤差幅も決められません。
費用最小でも精度最大でもなく、判断が変わる境界を見る
精度とコストの最適点は、次の条件で考えます。
追加精度の期待便益 ＞ 追加取得費用 ＋ 追加分析費用 ＋ 遅延損失 ＋ 回答者・現場負担 ＋ 保有リスク
追加精度の期待便益には、次が含まれます。
判断境界のどちら側かを識別できる
誤って拡大、継続、停止する確率を下げる
重点対象や予算配分をより適切に変えられる
重大な下方リスクを除外できる
説明責任や外部監査へ必要な証拠水準を満たせる
複数事業・複数年度でも再利用できる
一方、費用には委託費やツール費だけでなく、標本設計、対象者募集、回答確認、未回答追跡、データ整備、品質保証、分析、報告、意思決定会議、保存・削除までを含めます。
医療経済分野の期待標本情報価値（EVSI）に関する方法論研究は、複数の研究設計・標本数について、追加情報から得られる期待便益と研究費用を比較し、設計と標本数を選ぶ考え方を示しています。医療分野の便益評価や計算方法を自治体・DMO・企業へ直接移すことはできませんが、「最大標本ではなく、情報の正味価値が最大になる設計を選ぶ」という原則は参考になります。
標本数を増やしても、偏りは消えない
標本数を増やすと主に下がるのは、確率標本における標本誤差です。次の誤差は、自動的には解消しません。
1．対象範囲の誤り
公式SNSのフォロワーだけを対象にすれば、非利用者や未認知層は含まれません。1万人から回答を得ても、地域全体や潜在顧客全体を代表するとは限りません。
2．自己選択・非回答の偏り
満足度の高い人、強い不満を持つ人、時間のある人だけが回答すれば、中間層や離脱者が抜けます。回答数が多くても、回答者と非回答者が系統的に異なれば偏りが残ります。
3．質問・測定の誤り
曖昧な質問、誘導的な選択肢、複数概念を含む設問、回答しにくい期間、端末や計測タグの不具合は、測定値をずらします。
4．処理・結合の誤り
重複、名寄せ、期間ずれ、返品未反映、税区分、集計条件、データ連携の欠落等によって、元データが多いほど複雑な処理誤差が増える場合もあります。
5．指標と目的の不一致
再来訪意向を精密に測っても、実際の再来訪、消費、粗利益、住民受容を直接示すわけではありません。代理指標を精密化しても、目的との距離は縮まりません。
総務省統計局の科学技術研究調査Q&Aは、標本誤差とは別に、カバレッジ、データ処理、委託先・調査票・回答等による非標本誤差を挙げています。米国国勢調査局のACS利用者向け解説も、抽出枠、質問票、報告・符号化、処理、重み付け、面接者、非回答等の誤差を区別しています。
大きな標本は、偏りを小さく見せることがあります。誤った対象を大量に測るより、少数でも目的に合う対象を適切に測る方が価値を持つ場合があります。
精度向上の予算を、標本数だけへ使わない
追加予算をすべて回答数へ投じる前に、誤差の主要因を分解します。
主要な問題 | 標本追加の効果 | 優先し得る改善 |
無作為変動が大きい | 有効 | 標本数、測定回数、層別配分を増やす |
重要な少数群が不足 | 条件付きで有効 | 層化、重点抽出、オーバーサンプリングを行う |
対象者が偏っている | 限定的 | 抽出枠、募集経路、非回答追跡を改善する |
質問が曖昧 | ほぼ無効 | 認知インタビュー、予備調査、設問修正を行う |
計測漏れ・重複がある | ほぼ無効 | タグ、ID、処理工程、監査を修正する |
判断期限に間に合わない | 悪化し得る | 速報値、段階集計、取得頻度、工程を見直す |
指標が目的とずれている | 無効 | 指標・成果経路・意思決定を再定義する |
実務では「誤差予算」を考えると整理しやすくなります。
判断を誤らせる可能性のある誤差を列挙する
各誤差の大きさ、方向、発生確率を概算する
最も大きく、改善可能な誤差へ優先配分する
残る不確実性を結果とともに明示する
回答数だけを増やすのは、標本誤差が主要問題である場合に限って合理的です。
正確になるほど、遅くなることもある
データは、正しいだけでなく、使える時点に存在する必要があります。
例えば、次年度予算案の確定が10月末であるのに、完全な年間実績が翌年3月に判明しても、当該年度の予算判断には使えません。小売店が欠品を避けるため今週発注する必要があるなら、月末確定値より、誤差を明示した速報値の方が価値を持つ場合があります。
精度と適時性を両立しにくい場合、次の三層に分けます。
層 | 用途 | 設計例 |
速報 | 可逆的な運用調整 | 欠損・未確定を明示し、早期に出す |
暫定確定 | 月次・四半期の資源配分 | 主要な補正・確認を反映する |
最終確定 | 年次評価、契約、監査、基準値 | 十分な照合、修正履歴、品質保証を行う |
速報値と確定値を混同してはなりません。しかし、最終確定値だけを待つ設計も、意思決定を遅らせます。
OECDの統計品質枠組みは、統計処理設計における正確性と適時性の均衡を明示しています。また、2026年版英国政府「Magenta Book」は、評価を既知の意思決定時点へ合わせ、適切な時点で利用可能な成果物を作ること、データ収集作業が価値に比例しているかを検討することを求めています。
判断後に届く完璧なデータは、記録としては価値があっても、その判断の改善には使えません。
細かく見るほど、必要なデータ量も増える
全体値が十分に精密でも、地域別、年代別、商品別、媒体別へ分けると各群の標本数は小さくなります。
例えば400件の回答があっても、4地域×4年代の16区分へ均等に分ければ、1区分は平均25件です。全体の誤差幅が小さくても、各区分の値は大きく変動します。
細分化には、次の費用が発生します。
各区分で必要標本数を確保する費用
少数群を十分に含める重点抽出の費用
重み付け、秘匿、欠損処理の複雑化
多数の比較から偶然大きな差を見つける危険
現場が実際には対応できない細かな分類を管理する負担
粒度は、分析可能な最大水準ではなく、施策を変えられる最小単位へ合わせます。
地域別に予算を変えないなら、地域別精度をどこまで上げる必要があるか
年代別に商品・訴求を変えないなら、年代区分を維持する価値があるか
投稿別反応を取得しても、次の企画判断へ使わないなら、毎月精査する必要があるか
細かく分けられることと、細かく管理すべきことは異なります。
公的統計も、精度だけを最大化しているわけではない
総務省統計局の平成31年全国消費実態調査の標本設計資料は、結果精度だけでなく、予算額、調査員数、調査期間、表章単位等を同時に扱っています。標本設計資料では、全国・総世帯の消費支出について、調査世帯数を56,352世帯から51,705世帯へ減らす案でも、標準誤差率を0.4％に維持する見込みが示されました。一方、単身世帯は4,696世帯から9,309世帯へ増やし、標準誤差率を1.5％から1.0％へ改善する設計です。
これは、すべての対象へ均等に標本を追加する設計ではありません。利用目的、従来精度、重要な集団、調査期間、予算・実施制約に応じて配分を変えています。
同資料は、市町村別結果を一定精度で表章するために約9万世帯の追加規模が必要となり、調査員配置と予算制約から実現困難とも試算しています。
公的統計の設計を個別企業や自治体プロモーションへそのまま適用することはできません。しかし、精度目標を用途別に置き、全体費用と実施可能性の中で標本を配分する考え方は共通します。
必要精度を、意思決定から逆算する
第1段階：意思決定を一つに限定する
継続、拡大、縮小、停止、対象変更、予算再配分等、データで変える選択を明記します。
第2段階：判断境界を置く
どの値を超えれば、または下回れば行動を変えるかを定めます。閾値が難しい場合も、少なくとも「この範囲なら同じ行動」「この範囲なら再検討」を置きます。
第3段階：二種類の誤判断を評価する
本当は有効なのに、停止する損失
本当は無効なのに、継続・拡大する損失
両者は通常、同額ではありません。不可逆な投資、重大事故、公平性等では、一方の見逃しを重く扱います。
第4段階：必要な推定単位を決める
全体値だけか、地域別・顧客別・商品別が必要かを決めます。実際に行動を変えない区分は、精度目標から外します。
第5段階：必要標本数・検出力を計算する
推定したい量、許容誤差、信頼水準、検出したい最小差、ばらつき、抽出設計、非回答等を置きます。高額・高リスク案件では、専門家による標本設計と検出力分析を行います。
Magenta Book 2026も、評価が意味のある変化を検出できる標本数かを検出力分析で確認し、見逃しの損失が大きい高額・不可逆・有害リスクのある施策では、より高い検出力を求めるべきとしています。
第6段階：標本誤差以外を監査する
抽出枠、非回答、質問、計測、重複、処理、代理指標、定義変更を確認します。追加標本より先に直すべき問題がないかを判定します。
第7段階：段階的に取得し、停止規則を置く
初期標本で判断境界から十分に離れていれば停止し、境界付近なら追加取得します。
第1段階：既存データと小規模標本で方向を確認
第2段階：判断境界をまたぐ場合だけ追加標本
第3段階：不可逆な本格投資の直前に強い検証
結果を見ながら都合よく打ち切ると推論を歪めるため、追加条件と上限標本数は事前に定めます。
第8段階：追加精度の正味価値で止める
標本を増やした場合に、判断が変わる確率、回避できる損失、追加費用、遅延を比較します。同じ行動しか選ばない水準へ達したら、追加精度の根拠を別途求めます。
精度を妥協しにくい判断もある
本記事は、安易な低精度化を勧めるものではありません。次の場合は、通常より高い精度と品質保証が必要です。
1．判断が不可逆である
大型設備、長期契約、事業撤退、制度変更等は、後から戻す費用が大きくなります。
2．誤判断が重大な不利益を生む
安全、健康、権利、差別、生活基盤、個人への不利益等は、平均的な金銭価値だけで必要精度を下げられません。
3．小さな差が実務上重要である
薄利事業、大規模母集団、品質事故、規制基準等では、数ポイント未満の差でも大きな損失になります。
4．結果を外部へ一般化する
一店舗の改善ではなく、地域全体、全国展開、他組織への政策判断へ使うなら、代表性と再現性の要求が上がります。
5．報酬・契約・処遇へ直接接続する
測定誤差が人や委託先への不利益に直結する場合、定義、異議申立て、監査可能性、複数証拠が必要です。
6．小集団を見落とす損失が大きい
全体平均が精密でも、少数地域、少数顧客、脆弱な対象が見えなければ、目的を達成できない場合があります。
必要精度は、平均的な事業規模だけでなく、損失の非対称性と分配まで考えて決めます。
必要精度を、仕様書へどう残すか
「可能な限り正確なデータを収集する」では、費用も完了条件も定まりません。次の項目を明記します。
項目 | 記載内容 |
判断用途 | 何を継続・変更・停止するためのデータか |
対象母集団 | 誰・何について判断するか |
主要指標 | 何を推定・比較するか |
必要精度 | 許容誤差、信頼水準、検出したい最小差等 |
必要粒度 | 地域、顧客、商品等の表章単位 |
期限 | 速報、暫定、確定をいつ出すか |
誤差管理 | 標本、非回答、測定、処理、欠損への対応 |
追加取得条件 | どの結果なら標本を追加するか |
停止条件 | どの水準で十分と判断するか |
上限 | 最大費用、最大標本数、最大期間 |
限界の表示 | 推定区間、欠測、偏り、適用範囲をどう示すか |
精度目標がなければ、受託者は過剰品質にも過少品質にもなり得ます。発注者も、回答数が多いことだけで成果物を評価しやすくなります。
精度設計で確認すること
意思決定
□ このデータで変える選択肢が明記されている
□ 判断境界または再検討範囲が定められている
□ 判断期限と決定権者が明確である
□ 誤って採用する損失と、誤って棄却する損失を分けている
統計・測定
□ 「正確性」と「精密性」を混同していない
□ 標本数の前提、抽出方法、母集団、非回答を確認した
□ 全体値だけでなく、必要な小集団の精度を確認した
□ 信頼区間、標準誤差、検出力等を用途に応じて示す
□ 標本誤差以外の偏り・測定・処理誤差を監査した
費用・運用
□ 取得から廃棄までの総費用を見積もった
□ 追加精度によって判断が変わる可能性を確認した
□ 精度向上による判断遅延を評価した
□ 速報・暫定・確定を分ける必要を検討した
□ 段階取得、追加条件、停止条件、上限を事前設定した
□ 標本追加以外に、より費用対効果の高い品質改善がないか確認した
次の1件、1桁、1日が判断を変えるか
標本、粒度、頻度のどれかを一段上げたとき、本当に選択が変わるのかを一つだけ確認してください。変わらないなら、その精度向上は止める候補です。
精度は、目的ではなく制約条件である
正確なデータを集めることは重要です。ただ、「より正確」を無条件に目標化すれば、標本数、粒度、頻度、確認工程が増え、費用と遅延も膨らみます。
しかも、標本誤差だけを下げても、対象者の偏り、質問設計、計測漏れ、処理誤差、指標と目的のずれは残ります。
必要なのは、最高精度ではなく、用途に適合した最低十分精度です。
何を決めるのか
どこが判断境界か
どの誤判断がどれほど高くつくか
どの誤差が判断を左右するか
いつまでに結果が必要か
追加精度で本当に行動が変わるか
この順序で設計すれば、精度は目的ではなく、意思決定を支える制約条件になります。
データ収集を止める基準は、数字が十分に細かくなったときではありません。不確実性が残っていても、選ぶべき案を十分に区別できたときです。
必要な精度だけでなく、データ取得の費用対効果、非取得、分析不足、実験への移行まで含めて考える場合は、「意思決定に必要なデータを選ぶ記事ガイド」で関連論点を横断できます。
外から見る意味が生まれるのは、どこまで測れば十分か決まらないとき
株式会社Kerzeでは、自治体・DMO・観光協会・地域事業者等のデジタルプロモーションについて、データ取得量を増やすこと自体ではなく、次年度判断に必要な証拠水準を整理します。
継続・変更・縮小・停止の判断事項整理
判断閾値と結果―行動表の設計
現有データの誤差・偏り・適用範囲の監査
KPI、アンケート、アクセス解析、月次報告の精度診断
追加調査・計測の必要性と総費用の評価
委託仕様書における必要精度・期限・停止条件の設計
速報・暫定・確定を分けた報告設計
説明可能な第三者評価と次年度意思決定資料の作成
新しい調査やツールの導入を前提とせず、現在の判断に必要な精度と、不要な精密化を切り分けます。
原資料・参考資料
株式会社Kerzeについて
なんとなく”を終わらせる。根拠を持って「続ける・見直す・止める」を判断できる状態へ。
「どう解決するか」の前に、「何を解決するか」を適切に定めることを何より大切だと考え、株式会社Kerzeは、自治体・各種組合・商社/小売店に対し、事業戦略とマーケティング実務をつなぐ支援を行ってきました。戦略・目的・KPI、予算・発注、業務実施体制を整理しながら、SNS・広告・Web・販促・データ活用などの実務まで、必要な範囲を見定め、実行も含め支援いたします。
執筆・編集：株式会社Kerze
