Beating 第39号
2007年度Beating特集「5分で分かる教材評価講座」
☆特別企画☆ 第5回：読者相談室〜皆さまからの質問・相談にお答えします！

■□■□■□■□■□■□■□■□■□■□■□■□■□■□■□■□■□■
　　東京大学大学院　情報学環　ベネッセ先端教育技術学講座「BEAT」　　　
　　メールマガジン「Beating」第39号　　　　　2007年8月28日発行　　　　
　　　　　　　　　　　　　　　　　　　　　　　　現在登録者1478名　　　
　　2007年度Beating特集「5分で分かる教材評価講座」☆特別企画☆
　　第5回：読者相談室〜皆さまからの質問・相談にお答えします！

　　　　　　　　　　　http://www.beatiii.jp/?rf=bt_m005a
■□■□■□■□■□■□■□■□■□■□■□■□■□■□■□■□■□■

皆さまこんにちは。

今年の夏は猛暑が続きましたが、体調など崩していませんか。
先日のセミナーでは暑い中、多くのご参加ありがとうございました。

今月のBeating特集は、5月より募集をいたしました「教材評価」に関する疑問
や質問にお答えする特別企画です。どうぞお見逃し無く！

それでは、2007年度Beating第39号のスタートです！

┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
┃★CONTENTS★
┃■1.  特集：2007年度Beating特集「5分で分かる教材評価講座」☆特別企画☆
┃　　　第5回：読者相談室〜皆さまからの質問・相談にお答えします！
┃
┃■2. 【お知らせ】Monogatari システム 博物館デビュー
┃
┃■3.  編集後記
┗━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
■1. 特集 ：2007年度Beating特集「5分でわかる教材評価講座」☆特別企画☆
　　 第5回：読者相談室〜皆さまからの質問・相談にお答えします！
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
今回は夏休み特別企画として、皆さまからの質問・相談にお答えする「読者相
談室」をお届けします。たくさんの質問ご応募、ありがとうございました。

それでは早速、山内祐平先生（東京大学大学院 情報学環 准教授・BEAT併任）
と北村智先生（BEAT客員助教）にお答えいただきましょう！


━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
第5回　 ：読者相談室〜皆さまからの質問・相談にお答えします！
テーマ　：教材による、動機づけ効果や意欲の向上効果を評価するには？
ポイント："観察可能な評価項目"、"実験計画法に基づく実験"
------------------------------------------------------------
■読者からの質問

山内先生、北村先生、こんにちは。

とある山間地域の複数の中学校で「同期集合型e-ラーニング教材」の開発・実
践を担当している者です。「同期集合型」というのは、生徒は教室に集合して
いながらも、対面で先生から授業を受けるのではなく、1人1台のPCを使いスト
リーミング中継で東京の講師の授業を受講する授業のためこう呼んでいます。

同じ教室内で参加している同士、講師からの質問に競争で答えたり、わからな
いところをチャットでリアルタイムに講師に確認したりできます。システムを
介した参加学校間の交流もあります。

経験則ですが、この「同期集合型e-ラーニング」は学習内容のほかに学ぶモチ
ベーションや競争意欲が活性化するように思います。評価の段になると、つい
学習内容の理解などの学習効果に目が行きがちなのですが、動機付けも同様に
重要な評価項目と考えています。そのような項目を評価するには、何を測った
らいいでしょうか？　また、どうしたら測れるでしょうか？

------------------------------------------------------------
■ポイント１：『何を』調べるか！？〜"観察可能な評価項目"

●山内：　北村さん、夏バテ気味のところすみませんが、こんな質問が届きま
　したよ！　動機付けは学習にとって大切な要素ですし、e-ラーニング教材を
　提供する側にとって重大な悩みですね。ズバリ、お答えをお願いします。

●北村：　Beating特別企画の読者相談室ですね。それでは早速お答えします。
　まず、評価する際の測定対象について考えてみましょう。

　例えば、「この薬を飲めば、身長が伸びる」ことを評価するのであれば、
　それ自体観察可能な「身長」を測定すればいいわけですね。一方、「それ自
　体は観察することはできない」ものを測定の対象とするためには、「代わり
　に観察できるもの（副産物）」を測定する必要があります。

　「学習内容の理解」自体は観察できませんが、「テストの点数」は観察でき
　ます。したがって、「学習内容の理解」の副産物として想定される「テスト
　の点数」を測定すればよいわけです。つまり「モチベーション」や「競争意
　欲」に関しても同様に考えればよいわけです。

●山内：　ん〜簡単なようで難しい！今回の場合、具体的にはどうなるのでし
　ょうか。

●北村：　「モチベーション」や「競争意欲」が変化した場合に、その副産物
　として現れる「観察可能なもの」を評価項目として用いればよい、というの
　が質問への基本的な答えです。

　そして、それが副産物として現れるということは、
　　・直感的に理解することができるか
　　・理論的に説明することができるか
　　・妥当性の検証が行われているか
　などがその「観察可能なもの」を評価項目として用いることが適切であるか
　を判断する材料になります。

●山内：　なるほど！評価項目として妥当な「観察可能なもの」を探すことが
　ポイントですね。じゃぁ「モチベーション」の観察可能な副産物とは一体何
　ですか？

●北村：　「モチベーション」の「観察可能なもの」としてよく用いられるの
　が、大きく分けて以下の２つです。
　　・「行動」
　　・「（表出された）内省」

　まず、「モチベーション」の副産物の「行動」としてよく用いられるものの
　ひとつとして、「学習の継続」が挙げられます。「モチベーションが上がれ
　ば学習は継続するし、モチベーションが下がれば学習は継続されない」と考
　えるわけです。例えば、長期的なものであれば「受講回数」や「ドロップア
　ウトの率」などが使えるでしょうし、短期的なものであれば「居眠りの有無」
　などが使えるのではないかと考えられます。

　次に、「（表出された）内省」というと、ぱっと見わかりにくいかもしれま
　せんが、例えば、好感度を調べるために「好きですか」という質問を行い、
　それに対して対象者に内省してもらって、それを表出してもらう（ex.質問紙
　で「はい／いいえ」や「よくあてはまる〜まったくあてはまらない」などを
　選択してもらう）ということです。

　ひとこと「モチベーション」といってもさまざまなものがあるので、決定版
　のようなものがあるわけではありませんが、類するものの測定は教育工学研
　究でも行われています。

●山内：　ふむふむ。では、研究でどのように行われているか紹介してもらえ
　ますか。

●北村：　例えば、伊藤・神藤（2003）の研究では、「学習の持続性の欠如」
　を測定するために下山ら（1985）の学習意欲検査（GAMI）から、
　　・勉強をしていると、すぐにあきてしまう
　　・むずかしい問題をやっていると、すぐにつかれて、やめることが多い
　　・勉強をしている時、他に面白いことがあると勉強をやめてしまう
　　・あきっぽいほうだと思う
　　・勉強の時間がきても、すきなテレビ番組をみていると、なかなか勉強が
　　　始められない
　といった５つの質問項目を用いて測定を行っています。

●山内：　これらは、数量化することを念頭においたものですね。それ以外に
　も、例えばインタビューや自由記述回答などから質的にモチベーションを検
　討するという方法もありえますね。北村さん、明解な回答、いいですね〜。
　その調子で、次に評価方法について話を進めましょう。

------------------------------------------------------------
■ポイント２：『どのように』調べるか！？〜"実験計画法に基づく実験"

●北村：　他のものと比較して評価する場合によく用いられるのが、実験計画
　法に基づく実験です。実験を行う場合、まず比較対象となる「対照群（統制
　群）」を設定する必要があります。この対照群の内容によって、「何」と比
　較して新しいシステム・教材はすばらしい・よい、と主張できるのかが変わ
　ってくるので重要です。

　質問のケースでは「同期集合型のe-ラーニング」ということなので、例えば
　「非同期集合型のe-ラーニング」や「同期非集合型のe-ラーニング」などが
　対照群の一案として考えられるでしょう。

●山内：　読者の皆さん、覚えていますか？「対照群」、この用語は前回まで
　のBeating特集にも出てきましたよ。実験を行う際のポイントがいくつかあり
　ましたね。

●北村：　まず対象者ですが、これは教材・システムのターゲットとなる人た
　ちとする必要があります。ターゲットが中学生であれば、評価は中学生を対
　象とします。また、協力してもらえる人たちの属性を事前に調べて、できる
　限り偏りがないように対象者を集めることが望ましいといえます。

　そして実験の場合、評価の対象となる教材・システムを用いる群（「システ
　ム群・実験群」）と対照群への対象者の振り分けは、ランダムに行われる必
　要があります。例えば、「同期集合型のe-ラーニング」群にはモチベーショ
　ンの高い人がそろっており、対照群にはモチベーションの低い人がそろって
　いるようでは、「同期集合型のe-ラーニング」がよいと判断することはでき
　ません。ですから、そのような偏りが生じないようにランダムに振り分けを
　行うわけです（「無作為割当」と呼びます）。

●山内：　実験内容によっては、性別や実験の繰り返しや順番による影響が出
　る場合もありますね。サンプル人数とサンプルの属性の偏りがないよう、予
　め確認しておくとよいでしょう。

●北村：　実験は、基本的にはシステム群・対照群ともに同じ内容で実施をし
　ます。例えば、システム群のほうでは快適な環境で、対照群のほうではあま
　り快適ではないような環境で行ってしまえば、環境が原因となってモチベー
　ションに差が生じることもありえるでしょう。また、システム群と対照群と
　で学習時間に差があった場合には、システム・教材の効果なのか、学習時間
　の差による効果なのか判断することができなくなってしまいます。そこで、
　システム・教材でできる限り条件を統一して実施をする必要があるわけです。

●山内：　因果関係を見極めるためには、他の要因が入らないようきちんと条
　件設定を行わなければならないということですね。いや〜、厳しいっすね〜。

●北村：　最後に、どのタイミングでデータを取るかですが、これはデータの
　種類によって変わります。ですが、基本的には「実施の事前と事後」「実施
　の最中」「実施の事後」に大別できます。

　例えば、先に挙げた「学習の持続性の欠如」であれば、実施の事前と事後で
　データを取り、まず事前・事後の変化をみるのがよいでしょう。一方で、
　「ドロップアウトの率」や「居眠りの有無」などは、実施の最中に生じる行
　動ですから、実施の最中にとるしかありません。

　「実施の事後」にとる場合というのは、学習活動などが終わってからでない
　と答えられないような質問項目などのデータの場合です。例えば、「学習内
　容に興味がもてた」かどうかについてなどが考えられます。

●山内：　いやはや、これらの実験計画を考慮すると、最初から評価したい点
　を見込んでシステム設計をする必要がありますね。
　とはいっても、業務で行う際には協力校との対応や諸処の事情で、対照群を
　設けることが難しい場合もあるんですよ！どうしたらいいんですかねぇ？

●北村：　この場合、下記2つのアプローチが考えられます。
　１．現状の条件下において、とにかく対照群を設定するよう再考する。
　　倫理的に対照群を設定するのが難しい医学の分野でも対照群が設定された
　　実験研究が多々あります。そこで重要なことは、対照群にきちんと説明す
　　ることに加え、納得してもらえる処遇を提示することです。両群にデメリ
　　ットがないような実験の設定をするよう検討してみると、以外に設定可能
　　な道が開かれるものです。
　　例えば今回の例では、補習と題し、休日に生徒を集め、対照群としての実
　　験を実施するという方法も考えられます。

　２．データの取り方、分析方法の組み合わせで妥当性を確保する。
　　１の手法がどうしても不可能な場合、こちらのアプローチになると思いま
　　す。まず、事前事後のデータの比較を行い、成績が上がっているというこ
　　とを確認します。でも、ただ上がっているというだけでなく、全国共通学
　　力テストやPISAなどの一般データと比較し、それを上回る結果が得られる
　　と、さらに効果を主張できます。また、実装したシステムがいかに効力を
　　果たしているかについて、予め予想したポイントを分析する必要があるで
　　しょう。

　このように、実際可能な実践の中で、何のデータをいつ、何回取り、どのよ
　うに分析するかを検討し、対照群を設けない実験での妥当性を確保します。

●山内：　前回のBeating特集「おやこdeサイエンス」は２のアプローチでした
　ね。北村さん、ご苦労さま！お礼にお昼をご馳走しましょう。
　ということで、最後に読者の皆さんに参考書籍などの紹介をよろしく。

------------------------------------------------------------
■参考になる書籍
●北村：　ここまでお答えしてきた内容は、基本的には心理学の研究法をベー
　スとしています。心理学の研究法はそのままシステム・教材の評価法とする
　ことは難しいですが、システム・教材の評価の方法に応用できることが多々
　あります。以下では、参考になりそうな入門書を何冊か紹介します。

 『心理学研究法入門—調査・実験から実践まで』(2001)
　南風原朝和・下山晴彦・市川伸一(編)、東京大学出版会
　　この本は、特に教育系研究を事例に心理学研究法について解説されている
　　ので、教育系のシステムや教材の評価に関して参考になることが多く書か
　　れているのではないかと思います。

 『心理学マニュアル　シリーズ』、北大路書房
　http://www.kitaohji.com/wadai/manual_index.html
　　このシリーズは、心理学の研究法について「観察法」「質問紙法」「面接
　　法」「要因計画法」「研究法レッスン」の５冊で解説しています。
　　１冊毎にコンパクトにまとまっており、読みやすいシリーズです。

 『心理測定尺度集　シリーズ』　堀 洋道(監修)、サイエンス社
　　このシリーズは心理学の領域で研究、発表されている主要な心理尺度につ
　　いて、解説紹介しています。調べたい内容にぴったりのものが載っている
　　ことは、システム・教材評価の場合にはあまりないのですが、それでも参
　　考になるので目を通してみるとよいでしょう。

（特集記事協力：山内祐平（東京大学大学院 情報学環 准教授・BEAT併任）
　　　　　　　　北村智（BEAT客員助教））

------------------------------------------------------------
初めての企画「読者相談室」はいかがでしたか？
”疑問・質問大募集”には、たくさんのご応募、ありがとうございました。
お寄せ頂いた内容に全てお答えすることは出来ませんでしたが、今後の
Beating特集に出来る限り反映していく予定です。
「5分でわかる教材評価講座」次号もどうぞお楽しみに！
ご意見・ご感想もお待ちしております。


━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
■2. 【お知らせ】Monogatariシステム 博物館デビュー！
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
BEATで開発してきたMonogatariシステムの実験運用が神奈川県立生命の星・地
球博物館で始まりました。 Monogatariは、持ち方によってモノが語りを変える
というシステムです。三葉虫の化石レプリカにRFID（ICタグ）を埋め込み、指
輪型アンテナを用いて化石レプリカの持ち方を判定し，持ち方に対応した映像
コンテンツを提示します。 8月16日に、生命の星・地球博物館で一般のお客様
に使っていただくことができました。待ち行列ができるほどの人気でした。

実際のユーザーに触ってもらって改良するというプロセスは、形成的評価
(Formative Evaluation) とよばれ、非常に重要です。この日も人によってセン
サーの感度にばらつきがあったり、箱が塗料のにおいでくさい（笑）など、い
ろいろなフィードバックがありました。
システムを改良して、9月には第2弾の評価を行う予定です。

BEATブログ
http://blog.beatiii.jp/?rf=bt_m005

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
■3. 編集後記
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
最後までお読みいただき、ありがとうございました。

皆さまの中にも、単位をとるためのe-ラーニング受講を経験した方がいらっしゃ
るかと思いますが、1人で視聴するのは、少し辛くありませんでしたか？ 私も
初めは自宅で学習♪とルンルンしたのですが、臨場感が無いというか緊張感が
欠如しているためなのか、ついつい集中が途切れ、何度も聞き返すはめになり、
参加した方が楽だったかな!?と思うことも多くありました。

これが一転、単位というプレッシャーの無いところで、気の向くまま自由奔放
にe-ラーニング教材を視聴していると、"ながら"視聴にも関わらず、つい聞き
込んでしまったり、貴重な情報をゲット出来たようなお得感が味わえることが
多いような気がします。気の持ちようで不思議なものです。

さらに、誰か一緒に視聴してくれる人がいると、映像に突っ込みを入れたり、
ワイワイと楽しく、ライブ体験とはまた別の面白い場になったりします。今月
のBeating特集の質問にもありました「同期集合型e-ラーニング」の中の「集合
型」にも、効果の要因がありそうですね。

先日のBEAT Seminarでは、オープンエデュケーションがテーマで、多くの取組
みが紹介されていました。折角なのでいつか、英語の教材もチャレンジしてみ
よう！と思います。（未参加の方もご安心下さい！来月末に SeminarReportを
公開予定です。）

＃司会のBEATフェロー中原先生のブログに当日の模様が紹介されています！
http://www.nakahara-lab.net/blog/2007/08/open_education.html

では、来月のBeatingもお楽しみに。
 　　　　　　　　　　　　　　　　　　　　　　　　「Beating」編集担当
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　佐藤 朝美
　　　　　　　　　　　　　　　　　　　　　　　　　satomo@beatiii.jp
-------次回発行は9月第4週頃の予定です。

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
ご登録先は、ベネッセ先端教育技術学講座になります。
ご登録にあたって、お知らせいただいたお名前・メールアドレスなどの個人情
報は、ベネッセ先端教育技術学講座にて、「Beating」からのお知らせのためだ
けに使用いたします。また、ご本人の同意なく、第三者に提供することはござ
いません。
「Beating」はお申し込みをいただいた方々に配信しています。無断転載をご遠
慮いただいておりますので、転載を希望される場合はご連絡下さい。

□登録アドレスの変更、登録解除などはコチラ
http://www.beatiii.jp/beating/?rf=bt_m005

□ご意見ご感想はコチラ
「Beating」編集担当　佐藤 朝美
（東京大学大学院　学際情報学府　山内祐平研究室　博士課程1年）
satomo@beatiii.jp

□「BEAT」公式Webサイト
http://www.beatiii.jp/?rf=bt_m005b

□発行
東京大学大学院　情報学環　ベネッセ先端教育技術学講座「BEAT」

Copyright(c) 2007. Interfaculty Initiative in information Studies,
The University of Tokyo. All Rights Reserved.
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━