Beating 第42号
2007年度Beating特集「5分で分かる教材評価講座」
第8回：シビアな世界！−企業における研修評価−

■□■□■□■□■□■□■□■□■□■□■□■□■□■□■□■□■□■
　　東京大学大学院　情報学環　ベネッセ先端教育技術学講座「BEAT」　　　
　　メールマガジン「Beating」第42号　　　　　2007年11月27日発行　　　　
　　　　　　　　　　　　　　　　　　　　　　　　現在登録者1502名　　　
　　2007年度Beating特集「5分で分かる教材評価講座」
　　第8回：シビアな世界！−企業における研修評価−

　　　　　　　　　　　http://www.beatiii.jp/?rf=bt_m008a
■□■□■□■□■□■□■□■□■□■□■□■□■□■□■□■□■□■

皆さまこんにちは。

日毎に寒さが厳しくなってきていますが、皆さま体調など崩していませんか？
いよいよ年末に差し掛かり、忙しさも倍増！心身共に疲弊してませんか？
こんな時は、お鍋やシチュー、おでんなど、暖か〜いものを食べて、ぽっか
ぽっかになるのが一番！！元気に乗り切れるといいですね。


それでは、2007年度Beating第42号のスタートです！

┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
┃★CONTENTS★
┃■1.  特集：2007年度Beating特集「5分で分かる教材評価講座」
┃　　　第8回：シビアな世界！−企業における研修評価−
┃
┃■2. 【お知らせその１】公開研究会「BEAT Seminar」2007年度第3回：
┃　　　　　　　　　　　　　　　　　　　　　　　　　〜12/1（土）開催！
┃
┃■3. 【お知らせその２】なりきりEnglish!プロジェクトの記事掲載
┃
┃■4.  編集後記
┗━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
■1. 特集：2007年度Beating特集「5分でわかる教材評価講座」
　　 第8回：シビアな世界！−企業における研修評価−
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
今年度のBeatingでは、BEATの研究をより理解していただくため、学習の「評
価」についてさまざまな観点から紹介し、一年間で皆さまと一緒にその秘訣を
探っていく「5分で分かる教材評価講座」を開講しています。

2007年度Beating特集「5分で分かる教材評価講座」も8回目となりました。
今月号では、企業で行われる様々な研修を評価するために用いられる、教育効
果の測定の仕方についてのお話です。

6月の「読者相談室のテーマ募集」にお寄せ頂いたメールの中にも、企業研修
の評価に関するものがいくつかありました。企業の研修では、ただ「学習しま
した」というだけではなく、それが業績の向上に結びつくことが求められるも
の。参加者も経営者も満足する研修にするためには、一体どのように評価を行
うべきなのでしょうか。

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
第8回：シビアな世界！−企業における研修評価−
ケーススタディ６：企業における研修評価【研修評価】
ポイント　　　　：ビジネスへの成果を示す、ステークホルダーの満足
------------------------------------------------------------
■研修評価の概要

　「部長に任された今回の研修、一体どうやって報告したらいいん
　　だろう・・・。研修後にアンケートをとるとか、テストをする
　　くらいしか思い浮かばないけど、それだけで業績の向上につな
　　がるかどうかなんて分かるのかなぁ。『人材育成には金がかかって
　　るんだ』が口癖の上司に納得してもらえるような報告をしなくちゃ
　　いけないんだけど・・・。」

これまでBeatingでは、人が（開発したモノやプログラムによって）
"いかに学んだか"を評価する方法について解説してきました。今回は企業に
おける研修の評価がテーマです。人材育成に投資をしている以上、ただ
「勉強しました」だけでは、経営者は納得してくれません。参加者にも満足
してもらいたいし、上司にも胸を張って報告したいもの。一体どのように
評価を行ったらよいのでしょうか。

●なぜ研修評価を行うのか
そもそも、研修の評価は何のためにするのでしょうか。一般的な評価の場合と
同様、企業で研修評価を行う目的は大きく分けて2つ考えられます。

　１．「研修の目的」が達成できたかどうかを確認する
　　研修には、何かしらの課題を達成するという目的があります。研修評価
　　の目的とはその「研修の目的が達成されたかどうかを確認する」ことです。
　　特に企業では、研修で学んだ内容が実際の業務にどのように良い影響を
　　与えたのかということが重視されます。研修や参加者に対する総括的評
　　価と考えても良いでしょう。

　２．今後研修を改善するための情報を手に入れる
　　研修の目的がはっきりしていて、その達成のために研修を計画したとし
　　ても、必ずしもうまくいくとは限りません。参加者は人によって考え方
　　もばらばらですし、「やってみなければわからないこと」もたくさんあ
　　ります。研修のどこが良かったのか、良くなかったのか、それはなぜそ
　　うなったのか、という情報をしっかりと把握しておくことができれば、
　　今後の研修を改善するためのヒントになります。つまり形成的評価と
　　いうことになります。

●どうやって行うのか
では、上記の目的を達成するための評価方法にはどのようなものがあるので
しょうか。企業ですので、研修が終わった後の満足度や理解度を測るだけで
はなく、実際の業務にどのように良い影響を与えたのかということも調べる
必要があります。

お馴染みのアンケートや理解度確認テストなどは、主に満足度や理解度を測
るために用いることができますが、それがどのように業務改善につながったの
かということを確認するには、その他の方法も組み合わせて評価を行う必要が
あります。業務の改善を確認する方法としては、研修で学習したスキルを演習
やロールプレイングなどを通じて披露してもらうパフォーマンステスト、業務
手続きの実行や実務課題が解決できるかを実際と似た状況で判断する
シミュレーション、ユニークなエピソードや1人ひとりの有能性を把握できる
インタビューなどがあります。
（詳細については、『はじめての教育効果測定　教育研修の質を高めるために』
　堤宇一・久保田享・青山征彦著、2007、日科技連出版社）

●代表的な評価モデルと評価方法
何のために評価をするか、どんな方法があるかが分かったとしても、全体像が
分からないと計画も立てられませんね。企業研修の評価モデルとして有名な
のが、ドナルド・カークパトリックによる「レベル4フレームワーク」と、
ジャック・フィリップスによる「ROIモデル」です。この2つについて、簡単に
説明します。

　・「レベル4フレームワーク」と「ROIモデル」
　　この2つのモデルは、企業における研修の効果を複数の水準に分けて
　　整理したものです。どちらも個人への影響範囲の教育効果と組織への
　　影響範囲の教育効果という大きく2つの影響範囲にわけられています。
　　カークパトリックは、研修の効果として次の4つのレベルを挙げています。
　　レベル1〜3が個人への研修効果であるのに対し、レベル4は、組織への
　　影響範囲の教育効果を測ろうとするものです。

　・「レベル4フレームワーク」
　　1.Reaction：プログラム参加者の反応を測定
　　　　　　　　（参加者はそのプログラムを気に入ったか）
　　2.Learning：知識やスキル習得状態を測定
　　　　　　　　（目的の能力を身につけたか）
　　3.Behavior：学習内容の活用状況を測定
　　　　　　　　（実際に職場で活用しているか）
　　4.Result　：行動変容によって得られた組織貢献度を測定
　　　　　　　　（学習内容を活用しビジネス成果を向上させたか）

レベル4フレームワークに更に、その成果がコストに見合ったものかという投
資効率に関するレベル5を設定したのが、フィリップスの「ROIモデル」です。
ROIモデルでは、レベル1〜4の上にレベル5として、「Return on Investments
：投資としての有効性を測定」（ビジネス成果は投資コストに見合ったもので
あったか）を加えています。更に、ROIモデルは、個人・組織への影響範囲と
しての教育効果以外に分類される、「Intangible」という水準を設けています。
これは、組織内の雰囲気の変化や社員の微妙な気持ちの変化など、正確に計
測することは難しいけれど研修に非金銭的な付加価値もたらす効果を定義する
ためのものです。
どちらのモデルも、まず参加者がプログラムを満足したかどうかが基盤となり、
次に満足しただけでなく習得につながったか、習得しただけでなくそれを活
用したか、活用しただけでなく会社への貢献につながったか、をそれぞれ確認
していくのが理想である、という考え方が共通しています。

先ほど述べた評価の方法を用いる際には、このモデルに当てはめて考えると
利用目的がはっきりします。例えば、アンケートや理解度確認テストはレベル1
やレベル2の確認に有効といえるでしょう。パフォーマンステストもレベル2の
確認に有効です。レベル3や4の水準の評価に適する方法としては、アクション
プランや改善計画、インタビューなどが挙げられます。


------------------------------------------------------------
■ケーススタディから学ぶ研修評価
では、実際の研修評価は具体的にどのように行ったらよいのでしょうか。
いつものように具体例から学んでみたいと思います。

●シスコシステムズの評価事例
今回扱うのは、シスコシステムズで行われた中間管理職向けのリーダーシップ
プログラムの評価事例です。この企業では、13週間の「Emerging leader
program」というリーダーシッププログラムを用意しています。
リーダー候補の人が一番最初に受講するプログラムです。この事例で用いられ
た評価手法は「SCEM(Success Case Evaluation Method)」と呼ばれ、組織的
かつ実用的に行われています。

SCEMの手続きはシンプルで、まず研修終了後に5分程度で終わるアンケートを
行い、それを量的に統計処理します。次に、その結果から受講者を「成功群」
「失敗群」という２つの群に分類します。その後、それぞれの群から、ランダ
ムサンプリングをして数名を選び出し、1人30分ほど面接を行います。面接で
は、「成功群」の人からは、「研修終了後に、どのような効果があったのか」
ということについて聞き出し、そのエピソードを「物語だてて」まとめます。
具体的には、「何をどのように使ったのか」「どんなビジネスインパクトが後
日あったのか」「どのような要因が、知識や技能の転移に影響を与えたのか」
などを聞き出します。

抽出されたこの「物語」は、先ほどのアンケートのデータとともに、研修の総
括的評価のためのデータとして、マネジメント層に報告されます。「失敗群」
の方からは、なぜこのプログラムで学んだことを活用できなかったのか、どの
ような阻害要因があったのかを聞き出し、プログラムの改善に役立てます。

●シスコシステムズの評価事例の特徴
シスコシステムズの評価事例で特徴的なのは、アンケートと面接（インタビュー）
を巧みに組み合わせることによって、研修の満足度や理解度の確認が、実際の
業務にどう生かされているのかの確認へと上手につながっていたというこ
とです。アンケートにより参加者を「失敗群」と「成功群」に分け、「成功群」
から成功事例のエピソードを抽出するということがそれを可能にしていました。

学習した内容が実際にどのように業績へ反映されているかということは、数字
ではなかなか示すことはできません。しかし、それを「物語」にしたことで、
説得力を増しています。具体的にどのような場面で役に立っているかというこ
とを聞き出すことで、評価者側は、その抽出された事例が、研修で狙っていた
目的や想定していた能力にどの程度沿った内容であるかということを確かめる
ことができます。

補足ですが、もちろん「失敗群」からの情報も無駄にはせず、研修の形成的評
価につなげていました。これを毎回繰り返すことによって、徐々に徐々に失敗
群を減らしていくことを狙っているのですね。「マグロに食べられない場所は
ない」と言いますが、シスコシステムズでもどのような情報をどこで使うかと
いうシンプルで無駄のない評価計画を立てているということが言えます。


------------------------------------------------------------
■まとめ
ここまで、学校での学習評価とは違った企業における研修評価について、研修
評価は何を目的に行うのか、どのような方法や基本的な枠組みがあるかを概観
し、ケーススタディからシンプルで効果的な評価方法を学んできました。

研修効果について、業務の結果（レベル4）や投資効率（レベル5）まで測るの
はなかなか難しいことです。今回取り上げたシスコシステムズの評価事例のポ
イントは、シンプルでありながら、アンケートと物語の二側面から説得力の強
い評価を行っている点でした。研修を実施する際には「参加者」「参加者の上
司」「経営者」という3人のステークホルダーを満足させることが重要である
と言われています。シスコシステムズでは無駄のない評価計画によって「参加
者の上司」や「経営者」にも納得できる情報を提示していたと言えるのではな
いでしょうか。


------------------------------------------------------------
●参考文献
『はじめての教育効果測定　教育研修の質を高めるために』
　堤宇一・久保田享・青山征彦著、2007、日科技連出版社

『企業内人材育成入門』
　中原淳・荒木淳子・北村士朗・長岡健・橋本諭著、2006、ダイヤモンド社


（特集記事担当：坂本篤郎／東京大学 大学院 学際情報学府 修士1年
　　　　　　　　荒木淳子／東京大学 大学院 情報学環 助教）
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
「5分でわかる教材評価講座」次号もどうぞお楽しみに！
ご意見・ご感想もお待ちしております。


━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
■2. 【お知らせその１】「2007年度 第3回 BEAT Seminar 」のご案内
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
2007年度第3回となる12月のBEAT公開研究会は、
　「子どもの放課後学習環境」
というテーマで開催します。

学校教育のような公的に提供される学習は "Formal Learning"、
それ以外の家庭や社会で行われている学習を "Informal Learning"
と呼ぶことがあります。

"Informal Learning"は、時間的にも圧倒的に長く、重要な存在でありながら、
今まであまり注目されてきませんでした。

今回のBEAT Seminarでは、子どもが放課後や休日にどのように学んでいるのか、
また、学びをささえる空間や人工物はどうあるべきなのかについて、考えて
いきたいと思います。

—————————【2007年度　第3回　公開研究会　概要】————————
■テーマ
　「子どもの放課後学習環境」

■主催
　　東京大学大学院 情報学環 ベネッセ先端教育技術学講座

■日時
　　2007年12月1日（土）午後2時より午後5時まで

■場所
　　東京大学 本郷キャンパス 工学部２号館北館 9階 92-B教室
http://www.beatiii.jp/seminar/seminar-map32.pdf?rf=bt_m008

■定員
　　70名（お早めにお申し込みください）

■参加方法
　　参加希望の方は、BEAT Webサイト
http://www.beatiii.jp/seminar/?rf=bt_m008
　　にて、ご登録をお願いいたします。

■参加費
　　無料

■内容
1. 趣旨説明　14:00−14:10
　東京大学 准教授　山内 祐平

2. 講演　14:10-16:00
　●子どもの放課後の学びはどうなっているか—国際比較調査から
　　　木村治生氏
　　（株式会社ベネッセコーポレーション
　　　Benesse教育研究開発センター 教育調査室長）
　●‘子育て住空間’、チャレンジが続く住宅業界の動向
　　　藤井繁子氏　
　　（住生活ジャーナリスト/株式会社リクルート 住宅総合研究所 主任研究員）

▼休憩

　●感性を育む『おうちワークショップ』−「ヒラメキット」シリーズ
　　　安永哲郎氏
　　（コクヨ株式会社 RDIセンター ThinkEngine 事業開発部）

3. フロアディスカッション　16:00-16:30
　フロアのみなさまのグループディスカッションから、質問を出していた
　だきます。

4. パネルディスカッション　16:30-17:00
　「子どもが自然に学べる環境、文化をどう構成するか」
　　司会：山内 祐平
　　パネラー ・木村治生氏・ 藤井繁子氏・ 安永哲郎氏


━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
■3. 【お知らせその２】なりきりEnglish!プロジェクトの記事掲載
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
東京大学大学院 情報学環ベネッセ先端教育技術学講座は、
　「ビジネスパーソンが隙間時間に利用できる
　　　モバイル英語リスニング学習システム：なりきりEnglish！」
を、新日本製鐵株式会社、株式会社ウィルコムとの共同研究のすえ、開発し
ました。昨今、企業人材育成においては、英会話の重要性が高まっており、
本教材が寄与するところは大きいと期待されます。

それにあわせて、このたび東京大学では、11 月17 日から12 月8日までの
３週間「なりきりEnglish！」の学習効果を検証するための公開企業研修を
実施することになりました。

新日本製鐵株式会社社員60 名が、一人に一台スマートフォンを所持し、
この実証実験の期間中、学習を行います。タイやアジア各国で行われている
海外営業の実際を、海外営業担当者に「なりきり」ながら学ぶことができます。

そして、先日、企業研修の初日である11 月17 日の模様がITmediaに紹介され
ました。是非ご覧下さい。

W-ZERO3が変える英会話学習——
　　BEAT・新日鉄・ウィルコムの「なりきりEnglish！」実証実験
　　（ITmedia +Dモバイル）
http://plusd.itmedia.co.jp/mobile/articles/0711/21/news009.html


━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
■4. 編集後記
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
最後までお読みいただき、ありがとうございました。


皆さんは、家にいるとき、どの場所で過ごすことが一番多いですか？

”親子のコミュニケーションの場”として考えたとき、我が家ではソファの
存在が大きいなぁと思います。新生児の時からの授乳やオムツ替えに始まり、
絵本の読み聞かせやちょっとしたくつろぎなど、子どもと共にソファを利用
する時間は結構長く、その時間はゆったりとした楽しいひと時となっていま
す。最近ではダラダラと各自別の作業をしながらも、とりとめもなく色んな
ことを話したりします。

この習慣を継続していけば、反抗期もうまく乗り切れる!?

そんなうまくはいかないでしょうけど、我が家では、今後もソファの上で、
さまざまな物語(!?)を展開していけるといいなぁと思います。

今週末は、いよいよ第3回BEAT公開研究会が開催されますね。研究会では放課
後や休日の学びに焦点を当て、ささえる空間や人工物のあるべき姿を追うとの
ことですが、どのような展開になるのでしょうか。今からとても楽しみです。


では、来月のBeatingもお楽しみに。

 　　　　　　　　　　　　　　　　　　　　　　　　「Beating」編集担当
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　佐藤 朝美
　　　　　　　　　　　　　　　　　　　　　　　　　satomo@beatiii.jp
-------次回発行は12月第4週頃の予定です。

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
ご登録先は、ベネッセ先端教育技術学講座になります。
ご登録にあたって、お知らせいただいたお名前・メールアドレスなどの個人情
報は、ベネッセ先端教育技術学講座にて、「Beating」からのお知らせのためだ
けに使用いたします。また、ご本人の同意なく、第三者に提供することはござ
いません。
「Beating」はお申し込みをいただいた方々に配信しています。無断転載をご遠
慮いただいておりますので、転載を希望される場合はご連絡下さい。

□登録アドレスの変更、登録解除などはコチラ
http://www.beatiii.jp/beating/?rf=bt_m008

□ご意見ご感想はコチラ
「Beating」編集担当　佐藤 朝美
（東京大学大学院　学際情報学府　山内祐平研究室　博士課程1年）
satomo@beatiii.jp

□「BEAT」公式Webサイト
http://www.beatiii.jp/?rf=bt_m008b

□発行
東京大学大学院　情報学環　ベネッセ先端教育技術学講座「BEAT」

Copyright(c) 2007. Interfaculty Initiative in information Studies,
The University of Tokyo. All Rights Reserved.
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━