谷岡一郎『「社会調査」のウソ：リサーチ・リテラシーのすすめ』

「社会調査」のウソ―リサーチ・リテラシーのすすめ (文春新書)（文春新書110、文藝春秋、2000年）

＊2006/03/18現在

＊感想

• これまでのもやもやとした様々な不満に光明が見えた気がした。
• アクセス性の高い高精度のデータの蓄積の必要性を痛感した。
• 情報操作の手法を見抜くための、裏を覗く視点が自分には足りない。
• リサーチ・リテラシーの教育は、こどもにも、研究者にも、必要不可欠。
• このままではいけない、と焦らされる。的確かつ簡潔。インパクトもある。良書。

概要・重要メモ

• 論点
  1. 世の中のいわゆる「社会調査」は過半数がゴミである。
  2. 始末が悪いことに、ゴミは（引用されたり参考にされたりして）新たなゴミを生み、さらに増殖を続ける。
  3. ゴミが作られる理由はいろいろあり、調査のすべてのプロセスにわたる。
  4. ゴミを作らないための正しい方法論を学ぶ。
  5. ゴミを見分ける方法（リサーチ・リテラシー/research literacy）を学ぶ。

＊調査

真実が何であるかを知るために行われるべき。特定の目的や偏向した思い込みを持ってすべきものではない。

• • • • 悪い調査：学問上の真理追究の妨げになる
• 調査を引用するときに最低限チェックするべき三点
  1. 何を目的とする調査か（主催者は誰か。仮説は何か。）
  2. サンプル総数と有効回答数は何人か。どう抽出したか。
  3. 導き出された推論は妥当なものか。
     • 数字のチェック→単純計算、含みにおかしな点はないか
     • 他調査の引用→鵜呑みにしたものではないか
     • 悪意か無知か
• 二変数間に「相関がある」≠「直接の（一定方向の）因果がある」
• 人数さえ多ければよいというものではない

＊チェック機関の必要性

1. 1. 調査方法の確認・認証
      • 自分の社で行った調査はもちろんだが、学者や外国などの外部で行われた調査の方法論を確認し、ゴミを捨て去ること。もちろん調査票なども、きちんと手に入れる。
   2. 調査目的・仮説・結論のチェック
      • 導かれた結論が正当なものであるか否かを判断する。そのためにはデータを独自に分析できる機能も必要。
   3. 外部への対応
      • 自分のところで行った調査に対する質問や批判には、きちんと答える。

＊公開に関するルール

• • 自分の組織で行った調査結果は基本的に公開を原則とする。
    1. 全員に開示すべき情報
       • 調査実施に関する情報：日時、主催者、対象、調査目的（仮説）、データ収集方法など
       • サンプリング：母集団、サンプル数、有効回答数、有効回答率、属性別分布、抽出方法など
       • 質問票、およびコーディング方法（「分からない」や「無回答」を含むすべての回答肢の処理方法）
       • 各質問の回答分布（および性別、年齢層、地域別などの基本属性別クロス集計）
       • 分析の手法、数量化の方法、指数（index）の作り方、分析手法（式）など
    2. 一定の基準を満たせば開示すべき情報
       • raw data（生データ）：ただし本人を特定できる変数は省く
         • 「一定の基準」：研究者。相互に認定し合ったマスメディア

＊公開討論に関するルール

• • • 公開質問には、相互に回答する義務を課す。
    • 公開質問をした者は、相手方の回答、反論、または反質問に対し、質問スペースと同じスペースを確保し、校閲無しで掲載することを約束する。

＊No data, no paper（データがなければ論文はないと考えよ）

実証的根拠のない空虚な理論だけの論文はやめにするべき→欧米では大学院生が気軽にアクセスできる汎用データが多量に存在している。しかもアクセスを前提に整備されているので、大学院生や若い研究者は、たいていの場合、自分の理論や仮説のラフな検証ができるようになっている。

＊データ公開拒否の理由

1. 1. プライヴァシーを守る義務があるから
   2. 統計法のせいで公開できない
   3. 私の資金で集めたデータだから他人には見せない
   4. めんどくさい
   5. 本音：恥ずかしくて見せられない

＊学者の論文を格付けしよう

1. 論文は査読を受けているか：発行部数、範囲
2. 検証プロセスは追試可能か（データは公開されているか）
3. 引用は正しくなされているか
4. サンプルなどの調査方法はしっかりしているか
   1. サンプリング（抽出方法）
   2. 有効回答率
   3. 総数
   4. 母集団
5. 数量化、分析
6. 理論と仮説の構成

• （申請により）矛盾した結果の複数論文の判定を行う
• 「評論家」などの肩書を以下の基準で格付けする
  1. 1. その者の書いた論文の質と内容
     2. その者の書いたその他の記事、文章など

☆社会科学における統計的な有意さ

通常、95%（偶然は5%以下。20回に1回程度は偶然があってもおかしくない）

＊リサーチ・デザイン（research design）

• リサーチ・デザイン：どうやって知りたいことを知るかという計画主体のこと
  1. 時期・回数（Time Frame）
  2. データ収集法法（Data Collecting Method）
  3. 質問票（Questionnaire）
  4. サンプル抽出（Sampling）
  5. 分析（Analysis）

＊インタビューアー効果（interviewer effect）

1. ワンウェイ効果（one-way effect）
   • • 属性的効果（biosocial effect）
     • オブザーバー効果（observer effect）
     • 解釈者効果（interpreter effect）
     • 予想効果（expectancy effect）
     • 目的効果（intentional effect）
2. 相互的効果（interactional effect）
   • • 属性的効果（biosocail effect）
     • サイコロジカル効果（psychological effect）
     • 状況的効果（situational effect）
     • モデリング効果（modeling effect）

＊選択肢

• 単純な選択肢でも、文言を少し変えただけで結果が驚くほど異なる。選択肢の微妙な違い。
• サンプリングにおけるバイアス（bias＝現実社会とのズレ）
  • 選択肢（choice）
    1. 強制的選択（forced choice）はあってはならない：目的に合う結果を出すための選択肢操作をしてはならない
    2. 相互に排他的（mutually exclusive）であるべき：二つ以上の回答があってはならない
    3. 相互に補完的（mutually exhaustive）であるべき：選ぶものが何もないような状況を作ってはならない
  • サンプリングにおけるバイアスが起こる場合
    1. 1. 数が少ない。
       2. 母集団がわからない。
       3. 比較できないサンプルを使う。
       4. 代表的な意見を反映していない。
  • サイレントマジョリティ（silent majority）

あえて意見を表明しない多数派の意見が無視されるサンプリングはまず基本的にゴミである。

• • 理想的/検証に耐えうるサンプリング
    1. 1. 充分な数がある（「充分」であるための数は、検証内容などで変化）
       2. 母集団が（一般的に）定義されている
       3. 回収率が高い（100%を理想とする。60%以下になると、かなりのバイアスが存在すると考えた方がよい。）
       4. 確率標本（probability sampling）である（以下のどちらかを満たすとき）
          1. 初期条件（選ばれる前）において、母集団のどの一人も同じ確率で選ばれる抽出方法である。
          2. 初期条件（選ばれる前）において、母集団のどの一人も最終結果に対し同じ影響を与えることが担保されている抽出方法である。（同じウェイト）

＊蓄えるべき能力

• • 機器の分析能力が便利になればなるほど、それを扱う人間の能力には一定以上のレヴェルの、目的、知識、倫理観、そして哲学が要求されるようになる。
• 集めるより捨てる能力
  • セレンディピティ（serendipity）：あふれるデータの中から真に必要なものをかぎ分ける能力。情報機器やシステムの進んだ現代では、他人より、より多くの情報を集めることを競っても意味がない。
  • まずゴミを仕分けることが効果的＝データをどう「捨てる」か。
    1. 役に立つ有益なもの
    2. 目下のところは役に立たないが将来的に必要となりそうなもの
    3. ゴミ（圧倒的多数）

情報センター

＊東京大学社会科学研究所附属日本社会研究情報センター

• データ・アーカイブ（data archive）
  • 広く研究者からデータ類一式（質問票、コーディング・プロセス、リサーチ・デザインなど）を寄託してもらい、それをインターネットなどを通じて相互利用できるようにしたもの。
  • 学者、研究所、マスコミ、一般人にも、一定の条件さえ満たせばデータを公開する

＊シカゴ大学のNORC（National Opinion Reseach Center）

• GSS（General Social Surveys）：1972年から整備している社会調査
  1. 全米（五十州）の成人人口の代表的サンプルを使用。当初のサンプル数は約二千人だったが、現在は約四千人。
  2. 社会科学分野でよく使用される変数が多数（毎年五百以上、累積で三千以上）ふくまれているが、そのうちもっとも基本的な属性（年齢、性別など）である百余りの変数は、毎年必ず含まれる。
  3. アメリカ連邦政府の科学研究費女性財団（National Science Foundation）が、その重要性に鑑み、毎年莫大な金額の使用を認めている。

＊日本版GSS（J-GSS）

• 東大阪市にある大阪商業大学の比較地域研究所と東京大学の社会科学研究所との共同プロジェクト
• 「学術フロンティア（1998年の予算で始まった卓越した研究拠点に対する補助制度）」の審査を通過して与えられた研究費によるもの。
• e-mail: jgss＠daishodai.ac.jp
• J-GSSオフィス: 大阪商業大学内 [電話06-6785-6013/ FAX06-6785-6011]

文献案内

＊リサーチ・リテラシーを上昇させるために

• スティーヴン・J. グールド『フルハウス・生命の全容：四割打者の絶滅と進化の逆説』 （渡辺政隆訳、早川書房、1998年）
• A. K. デュードニー『眠れぬ夜のグーゴル』 （田中利幸訳、アスキー、1997年）
• ジョン・コートル『記憶は嘘をつく』 （石山鈴子訳、講談社、1997年）
• マイケル・W. フリードランダー『きわどい科学』（田中嘉津夫、久保田裕訳、白揚社、1997年）
• ■ 市川伸一『考えることの科学：推論の認知心理学への招待』 （中公新書、1997年）
• 菊池聡『超常現象の心理学：人はなぜオカルトにひかれるのか』（平凡社新書、1999年）
• 池田清彦『科学とオカルト：際限なき「コントロール願望」のゆくえ』（PHP新書、1998年)
• マイクル・シャーマー『なぜ人はニセ科学を信じるのか：UFO、カルト、心霊、超能力のウソ』（岡田靖史訳、早川書房、1999年）
• 佐藤博樹、石田浩、池田謙一編『社会調査の公開データ：2次分析への招待』（東京大学出版会、2000年 ）