Beating 第45号
2007年度Beating特集「5分で分かる教材評価講座」
第11回：適切な評価を行うための手法 −実験計画法−
■□■□■□■□■□■□■□■□■□■□■□■□■□■□■□■□■□■
東京大学大学院 情報学環 ベネッセ先端教育技術学講座「BEAT」
メールマガジン「Beating」第45号 2008年 2月22日発行
現在登録者1546名
2007年度Beating特集「5分で分かる教材評価講座」
第11回：適切な評価を行うための手法 −実験計画法−
http://www.beatiii.jp/?rf=bt_m011a
■□■□■□■□■□■□■□■□■□■□■□■□■□■□■□■□■□■
皆さまこんにちは。
先週末の「春一番」、すごかったですね。
春の暖かな日差しが待ち遠しい今日この頃。とはいえ、花粉の飛散量も気に
なりますね。鼻がムズムズすることで、春の到来を感じる皆さまも多いので
はないでしょうか!? 年々花粉対策グッズも増えてきてますので、少しでも
快適に過ごせるといいですね。
それでは、2007年度Beating第45号のスタートです！
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
┃★CONTENTS★
┃
┃■1. 特集：2007年度Beating特集「5分で分かる教材評価講座」
┃ 第11回：適切な評価を行うための手法 −実験計画法−
┃
┃■2. 【お知らせ】「未来の教育のために学校と家庭ができること
┃ - フィンランドと日本の対話」 〜3/29（土）開催！
┃
┃■3. 編集後記
┗━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
■1. 特集：2007年度Beating特集「5分でわかる教材評価講座」
第11回：適切な評価を行うための手法 −実験計画法−
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
今年度のBeatingでは、BEATの研究をより理解していただくため、学習の
「評価」についてさまざまな観点から紹介し、一年間で皆さまと一緒にその
秘訣を探っていく「5分で分かる教材評価講座」を開講しています。
2007年度Beating特集「5分で分かる教材評価講座」も11回目となりました。
今年度のBeatingでは、様々なプロジェクトの評価方法についてケーススタデ
ィを行い、さらに先月号では、評価を行うために避けては通れない統計を学ぶ
ための書籍をご紹介しました。
今月のBeatingでは、前回に引き続き適切な評価を行うための知識について学
びたいと思います。今回あつかう内容は､「実験計画法」です。学習者に対し
て、新しく作った教材の何が効いていたのか、どのように効いていたのかとい
うことを、より正確により効率的に検出するためには、どのような考え方や見
通しを持つことが必要なのでしょうか。
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
第11回：適切な評価を行うための手法
理論紹介２：実験計画法
------------------------------------------------------------
■実験計画法の概要
●そもそも実験って？実験計画法ってなに？
「実験をする」というと、ミョウバンの水溶液から結晶を作ったり、水素にポ
ンッと火をつけて水を作ったりといった、小学校や中学校の理科室を思い出さ
れるかもしれません。
今回ご紹介する「実験」は、化学現象ではなく、"人の行動"や"人のこころ"を
扱うという点においては少し異なりますが、「ある仮説や理論が本当に成立す
るかどうか、様々な条件を試すことで実際に確認する」という意味においては
変わりありません。一言で言うと、実験とはある原因がある結果を生起させる
かどうかを明らかにする、つまり、「因果関係を同定する」ために行われるの
です。
基本的には、研究者が仮説を検証するために、手続きに従って被験者に働きか
けを行い、その行動の変化を観察、記録し、変化の特徴を数量的に表現すると
いう過程になります。しかし、「様々な条件」と「試して確認された結果」と
の因果関係を明確に示すことは大変難しいです。
そこで、さまざまな注意点に基づきながら精度の良い結果を効率的に得られる
ような実験を設計し、得られた結果を解析して結論を出す必要があります。
このように、計画的な条件設定を行ってデータの値を得る方法のことを
「実験計画法」と言います。
●独立変数？従属変数？剰余変数？
実験計画法では、因果関係を示すために変化させる要因のことを「独立変数」
と呼び、その結果のことを「従属変数」と呼びます。例えば、新しく開発した
教材が従来の教材より効果があるかどうかを調べるために実験を行うならば、
教材が「独立変数」となり、その教育効果が「従属変数」となります。つまり、
実験とは「ある独立変数を操作して変化させることによって、従属変数がどの
ように変化するかを観測すること」であると言えます。
しかしここで注意しなければならないのが、実験で得られる結果は、実は多く
の要因に影響されていて、独立変数とは無関係である要因の影響でも変化して
しまうということです。独立変数とは関係なく従属変数に影響を与える他の要
因のことを「剰余変数」といいます。例えば新しく開発した教材を評価する際、
ある小学校のA組の子どもたちに新しく開発した教材を与え、B組の子どもた
ちには従来の教材を与えて勉強してもらったら、開発した教材を使ったA組の
ほうがテストで高い点数をとれたという実験結果が出たとします。しかしこれ
だけでは、たまたまA組のほうが頭の良い子が多かったのでは？という"疑い"
が出てきます。この「たまたま頭の良い子が多かった」というのが剰余変数で
す。
このような実験計画では、従属変数（ここではテストの点数）に対し剰余変数
（ここでは頭の良さ）が影響を与えている可能性を捨てきることはできません。
そこで、実験では「剰余変数を統制する」という考えが重要になってきます。
例えば、事前にテストを行って両群に均等に振り分けるといった方法をとる
ことで、できるだけ子どもの学力レベルの差異が条件間で問題にならないよう
に考慮し、たまたま頭のよい子が多かったという剰余変数を統制する必要があ
るのです。
------------------------------------------------------------
■現実の世界は厳しい！？
●内的妥当性 VS 一般可能性
上記のように、実験では独立変数と従属変数の関係をできるだけクリアに示す
ことで、その主張の正当性の確からしさを高める必要があります。この正当性
の確からしさのことを「内的妥当性」と言います。先ほどの例では剰余変数が
十分に統制されておらず、「もともと頭の良い子が多かったのではないか」と
いう"疑い"が考えられる状態なので、「内的妥当性が低い」ということになる
わけです。
しかしながら、実験室とは違い、現実的な場面では、結果に影響を与える要因
が多すぎて、剰余変数の統制に限界があることが多々あります。そのような状
況の中であまりに内的妥当性を高めようとすると、逆に日常的な状況からかけ
離れた不自然な状況設定になってしまい、広く一般化できないことになります。
このような、日常的な場面へ適応できる程度のことを「一般可能性」と言い
ます。
●できるだけ内的妥当性を高めるための「準実験」
また、倫理的な制約のために内的妥当性を十分に担保できない場合もあります。
例えば、学校の中で新しい教材を開発し、その効果を検証したい場合、ラン
ダムに2つに分けた子どもたちの一方には質の高い（と考えられる）教育を行
い、別の子どもたちにはそうでない教育を行うということは、倫理的に問題の
ある行為だと考えられます。また、現実的な問題の面から考えても、学校で行
う以上、普段通りの授業の枠組みの中で子どもたちを完全にランダムに分類す
ることはあまり考えられません。
このような理由から、実験群と統制群を比較することが困難な場合には、新し
い教材を用いる前と後でどの程度点数が向上したかを比較するという方法が考
えられます。もちろん、「2回目だからコツを覚えて点数が高くなったのでは
ないか」「時間が経って多くの知識を蓄えたので点数が高くなったのではない
か」というような"疑い"が残ることが考えられますので、剰余変数を統制する
必要があります。ここでは、新しい教材を導入する前にも複数回、後にも複数
回テストを行うことで「テストの回数」や「時間」という"疑い"を軽減するこ
とができます。
このように、倫理的な問題や現実的な制約のために通常の実験計画を適用しに
くい場合に、できるだけ内的妥当性を高めるために工夫された研究デザインを
「準実験」と呼びます。
------------------------------------------------------------
■まとめ
どのように計画を立てればより効率的に精度の高い知見を得ることができるの
かということに関して、簡単に見てきました。一言で言うと実験計画法とは、
様々な注意点に基づいて原因と結果の因果関係を同定していく見通しを立てる
方法です。また、内的妥当性と一般可能性のバランスや現実的な制約によって、
なかなか一筋縄ではいかないものでもあります。
特に教育の分野では、現実的な場面での研究が求められることが多いため、準
実験を行うことが多くなりがちです。しかし、だからといって実験計画法の知
識がいらないわけではありません。実験計画法の知識がなければ、準実験の計
画を立てる時にどのように内的妥当性を保つかということを考えることはでき
ません。実験計画法について理解を深めることにより、準実験のどこがまずい
のか、どこまでだったら剰余変数の統制をしなくてもよいかということを考え
ることができるようになり、内的妥当性と一般可能性のバランスのとれた研究
計画を立てることができるのです。
実は、Beating第38号でご紹介した「親子deサイエンス」は、実験群と統制群
を作って比較するということをせずに、開発した教材やカリキュラムの有効性
を検証した，準実験の例でもあります。
（http://www.beatiii.jp/beating/038.html）
ここでは、
「光に対する理解度や家庭での会話量のデータ（事前・事後の比較）」と
「教材の利用に関して問うデータ（事後のみ）」の2種類をとり
・事前・事後の比較分析（データの差をみる）
・事後データの分布分析（データの偏りをみる）
・相関の分析（データ同士の関係をみる）
を組み合わせることによって、開発した教材や学習プログラムの有効性を検証
し、かつその検証のもっともらしさを高めていました。
ここで重要なのは、
・評価の観点などから考えて、取るべきデータを考える
・データの取り方にあわせて分析手法を選択する
ということでしたね。
今月ご紹介した精度の高い結果を抽出するための実験計画法と、前回ご紹介し
た抽出された結果が本当に意味のある（偶然による結果ではない）知見なのか
どうかを検証するための統計の基礎知識は、一連のものであると思います。複
雑で難しい概念ではありますが、それらを理解し、理論的に組み合わせること
によって、真正な評価に近づくことができるのではないでしょうか。
------------------------------------------------------------
●参考文献
・『心理学研究法—心を見つめる科学のまなざし』
（高野陽太郎・岡隆、2004、有斐閣）
（Amazonはこちら http://www.amazon.co.jp/dp/4641122148/ ）
・『心理学マニュアル 要因計画法』
（後藤宗理・中沢潤・大野木裕明、2000、北大路書房）
（Amazonはこちら http://www.amazon.co.jp/dp/4762821969/ ）
・『心理学研究法入門−調査・実験から実践まで』
（南風原 朝和、下山 晴彦、 市川 伸一、2001、東京大学出版会）
（Amazonはこちらhttp://www.amazon.co.jp/dp/4130120352/ ）
・『ユーザーのための教育・心理統計と実験計画法
—方法の理解から論文の書き方まで』
（田中 敏、 山際 勇一郎、1992、教育出版）
（Amazonはこちらhttp://www.amazon.co.jp/dp/4316329014/ ）
（特集記事担当：坂本篤郎／東京大学 大学院 学際情報学府 修士1年）
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
「5分でわかる教材評価講座」次号もどうぞお楽しみに！
ご意見・ご感想もお待ちしております。
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
■2. 【お知らせ】「未来の教育のために学校と家庭ができること
- フィンランドと日本の対話」 〜3/29（土）開催！
☆★☆ 残席あとわずか！ 登録お早めにどうぞ！ ☆★☆
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
BEAT(東京大学情報学環 ベネッセ先端教育技術学講座)では、
情報学環・福武ホールの竣工を記念して、BEAT Special Seminar
「未来の教育のために学校と家庭ができること - フィンランドと日本の対話」
を開催いたします。
このスペシャルイベントでは、ヘルシンキ大学のSeppo TELLA教授をお招きし、
質の高い教育で定評のあるフィンランドの学校教育の特徴・家庭学習のあり方・
未来の教育像についてお話しいただきます。
みなさまのご参加をお待ちしております。
◆登壇者ご紹介◆
Seppo TELLA, Ph.D
ヘルシンキ大学 教授
教育におけるICT利用に関する専門家として活躍中。LIVE, FLE, TriOなどの
国家プロジェクトやOLE, SCOPEなどの国際的なプロジェクトに関わっている。
欧州委員会(EC)情報社会技術プロジェクトの外部評価委員でもある。
教授・学習プロセス、知識構築、教師教育、メディア教育、外国語教育など
に関する論文、書籍を多数執筆している。近年では国際性、多様性を
キーワードにインフォーマル教育に関する研究も行っている。
—————————【2007年度 第4回 公開研究会 概要】————————
■主催
東京大学 大学院 情報学環 ベネッセ先端教育技術学講座
■日時
2008年 3月29日（土）午後1時より午後5時まで
■場所
東京大学 本郷キャンパス 情報学環・福武ホール（赤門横）
福武ラーニングシアター（B2F）
http://www.beatiii.jp/seminar/seminar-map33.pdf
■定員
180名（お早めにお申し込みください）
■参加方法
参加希望の方は、BEAT Webサイト
http://www.beatiii.jp/seminar/
にて、ご登録をお願いいたします。
■参加費
無料
■内容
1. 趣旨説明 13:00−13:10
山内 祐平 (東京大学 准教授)
2. BEAT 2007年度成果報告 13:10-14:30
▼休憩
3. 基調講演 14:45-15:45
「フィンランドにおける未来の教育（仮題）」
Seppo TELLA (ヘルシンキ大学 教授)
▼休憩
4. パネルディスカッション 16:00-17:00
「質の高い教育を実現するために学校と家庭は何をすべきなのか」
司会：
山内 祐平（東京大学 准教授）
パネラー：
Seppo TELLA (ヘルシンキ大学 教授)
堀田龍也（メディア教育開発センター准教授・文部科学省併任）
沓澤 糸（Benesse 教育研究開発センター 主任研究員）
飯吉 透（カーネギー財団知識メディア研究所所長・BEAT客員教授）
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
■3. 編集後記
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
最後までお読みいただき、ありがとうございました。
Beating第45号はいかがでしたでしょうか。
落語の「寿限無」じゃないですが、「子どもに良いと思うものを何でも与えて
あげたい！」、そんな親の気持ちは古今東西共通ですよね。子どものより良い
成長や向上の願いを込め、学びや躾の場で親は様々な選択をしています。
けれど、多くを適用すればするほど、子どもの褒めてあげたい長所が、一体誰
の指導or環境要因の効果であったのかを特定しにくくなってしまいます。
良くなったのは自分(母親)のおかげ、悪くなったのは父親のやり方のせい！
そんな独断的解釈では夫婦喧嘩を引き起こしてしまいますね･･･。
今月の特集記事で紹介した「実験計画法」は、複雑な因果関係をより確かな
原因と結果の結びつきに同定していく方法でした。
例えば、子どもが喜んでやっていることに対して、ご褒美を与える「外的動機
付け」をしてしまうと長続きしなくなってしまう、そんな実態も実験で実証さ
れています。子どもに何かをさせたい時は「内的動機付け」が大切だという事
は、薄々感じてはいるものの、実際データとして立証されると改めて気の引き
締まる思いがします。
そんな薄々感じているけれど見過ごしている因果関係、まだまだ他にも沢山あ
りそうですね！
では、次回Beatingもお楽しみに。
「Beating」編集担当
佐藤 朝美
satomo@beatiii.jp
-------次回発行は3月第4週頃の予定です。
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
ご登録先は、ベネッセ先端教育技術学講座になります。
ご登録にあたって、お知らせいただいたお名前・メールアドレスなどの個人情
報は、ベネッセ先端教育技術学講座にて、「Beating」からのお知らせのためだ
けに使用いたします。また、ご本人の同意なく、第三者に提供することはござ
いません。
「Beating」はお申し込みをいただいた方々に配信しています。無断転載をご遠
慮いただいておりますので、転載を希望される場合はご連絡下さい。
□登録アドレスの変更、登録解除などはコチラ
http://www.beatiii.jp/beating/?rf=bt_m011
□ご意見ご感想はコチラ
「Beating」編集担当 佐藤 朝美
（東京大学大学院 学際情報学府 山内祐平研究室 博士課程1年）
satomo@beatiii.jp
□「BEAT」公式Webサイト
http://www.beatiii.jp/?rf=bt_m011b
□発行
東京大学大学院 情報学環 ベネッセ先端教育技術学講座「BEAT」
Copyright(c) 2008. Interfaculty Initiative in information Studies,
The University of Tokyo. All Rights Reserved.
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━