モバイルARが拓く Place Based Learningの世界

0. 趣旨説明

モバイルARは、拡張現実(Augumented Reality)技術を携帯デバイスで実現するもので、ケータイをかざすことによって、その場の映像の上に様々な情報を重ねて見ることができます。iPhone用のアプリケーション「セカイカメラ」で注目を集めたこの技術は、他キャリアのケータイでの試験的サービスも始まっており、近い将来教育をはじめとした各種サービスの基盤になる可能性を持っています。

教育の領域でも博物館などでARの利用が進められてきましたが、モバイルARの出現によって、様々な場所で学びのきっかけを作り出すことが可能になります。今回のBEAT Seminarでは、試行的に行われている事例を検討し、今後新しく生まれてくるであろう場所を基盤とした学習の可能性について検討していきます。

事例紹介0「初期AR研究事例「Monogatari」システム」
久松慎一（BEAT特任研究員）

0.1.「Monogatari」：RFIDを利用した把持検出型インタラクティブ博物館展示システム

博物館展示といえば、化石が展示場のガラスケースに入っているというのが従来型の一般的な形態であった。最近、触れられる（ハンズ・オン）展示と、CGが用いられた情報提示が並列して行われているものがあるが、そこにはまだモノとコンテンツが分離しているという問題が指摘できる。

そこでBEATでは、ユーザの展示物の持ち方を判定することで，ユーザが展示物のどこに注目しているのかを判断し、それに対応した映像コンテンツを提示する「Monogatari」を開発した。「Monogatari」では、モノ（三葉虫化石レプリカ）を触りながら、その触れた部分に関する映像を同時に見ることができる。三葉虫化石レプリカに複数のRFIDを埋め込み、指輪型アンテナを用いたパターンを分析することによって、化石レプリカの把持状態を判定し、ホストPCから映像コンテンツを返すという仕組みである。

0.2.「MonogatARi」：「Monogatari」システムのソフトウェアでの再現

「Monogatari」では、化石レプリカとRFIDのタグが無いと使えないという制約があるので、それを克服すべく、「MonogatARi」を開発した。

2次元マーカーをwebcamに映すことによって映像が流れる技術を応用して、「Monogatari」システムにおけるユーザと化石のインタラクションをソフトウェアで再現したものが、「MonogatARi」である。「Monogatari」における「化石の持ち方」はこの場合「マーカーの向き」に当たる。マーカーをどの向きで見せるかによって、ユーザが注目しているところを判定し、映像コンテンツを流す。

1. 事例紹介1「Past Viewer／東京大学ARキャンパスツアー」
中杉啓秋氏（博報堂DYメディアパートナーズ メディア環境研究所）

1.1.「Past Viewer」：生きたストーリーが見える視座獲得サポート

1.1.1.「Past Viewer」とは

「Past Viewer」とは、2001年に開発された、歴史的建造物の前に立ってそこで起きた事件や過去の様子をシースルーのHead Mounted Displayを使い、当時の写真や映像資料と重ね合わせて当事者の視点で擬似的に追体験するシステムである。

ユーザは、現実空間に映し出される本来見ることのできない、拡張された過去の物語を知る事ができる。「Past Viewer」での現在と過去を重ね合わせる活動によって、歴史的建造物が単なるハコでなく、そこに生きたストーリーが見えてくるものとなり、従来の知識獲得中心であった歴史学習において、重要な動機づけが促進されると考える。

1.1.2. コンテンツとシステムの概要

「Past Viewer」に用いた場所は東京大学本郷キャンパス内、安田講堂である。写真や映像が多く残っており、2000年前の弥生時代から人が住んでいたという歴史的証明があるため選定した。

ユーザは、ノートパソコンの入ったリュックサックを背負い、Head Mounted Display・ヘッドホン・ワイヤレスマイクを装着する。Head Mounted Displayには、現実の風景と映像を重ね合わせるためにシースルータイプを用いた。

「Past Viewer」は以下の3部構成となっている。

1. 安田講堂の場所説明
2. 東大紛争
3. Back to 1927-2001

第1部と第2部では、ウェアラブルコンピュータの指示に従い、安田講堂近辺の歴史から東大紛争までを振り返る。第3部では、1927から2001年までの映像および写真資料が、現実の風景と重ね合わされる。例えば、1943年の安田講堂から学徒出陣が行われたシーンであれば、写真の輪郭に合わせて移動すると戦時中にタイムスリップしたかのような感覚が味わえる。

1.1.3. 評価

10～40代の学生や大学関係者、主婦、会社員等男女10名にインタビューにて、「Past Viewer」の評価を行った。

インタビューにおける発話の分析によって、以下の4点が確認された。

1. メディア情報と現実世界の重ねあわせによる強い心理的経験
2. 身体運動を用いた視点の実在化
3. 更なる探索学習の喚起
4. 現在と過去をつなぐ視点の獲得

1.2.「東京大学ARキャンパスツアー」：学生しか知らない、を観る

1.2.1.「東京大学ARキャンパスツアー」とは

「東京大学ARキャンパスツアー」は、KDDIと博報堂DYメディアパートナーズが共同で開発している次世代ナビゲーション携帯アプリ「MAWARIPO」×実空間透視ケータイを利用し、携帯電話端末を通じて東大キャンパス内施設の概要について、数十名の現役東大女子学生によるナビゲーションを受けられるものである。博報堂DYメディアパートナーズ、KDDI研究所、東京大学情報学環山内研究室の共同研究として行われている。

1.2.2. コンテンツとシステムの概要

従来の東京大学現役学生ガイドによるキャンパスツアーでは、例えば、赤門では「加賀藩の屋敷がありました」、三四郎池では「夏目漱石の小説でも有名です」などといった紹介がされる。

一方で、「東京大学ARキャンパスツアー」では、本郷キャンパスを一般的な建物や歴史の紹介だけではなく、東大に通う女子学生しか知らないエピソード、いわゆる暗黙知や都市伝説的なものを扱ったコンテンツづくりを目指した。そのために東大女子学生20人から収集した情報は、本郷キャンパスで一番好きな場所と理由や、キャンパスの中で異性に告白するとしたらどこでするなどの「ロケーションと関連した情報」と、東大生でよかったことなどの「一般情報」である。

ユーザが携帯電話端末を実空間にかざすと、自分が今いる場所の位置情報を元に、周辺に登録されている情報のアイコンが携帯電話画面上に自動で編成される。直感的に場所がわかるよう、アイコンは「学生の顔」と「ランドマーク」とした。学生のアイコンに向かって進み、その場所にたどり着くと、学生が話すその場所の動画エピソードが流れる。

1.2.3. 実証実験

2009年9月25日・26日に、本郷キャンパスをはじめて訪れる10～30代男女22名を対象に実証実験を行った。実空間透視ケータイをインストールした「東京大学ARキャンパスツアー」実験端末8台を用い、対象者は、キャンパス内を散策しながらナビゲーションの誘導に従って案内を受けるものであった。

本郷キャンパスの地理がわからない被験者でも、直感的に建物の位置がアイコンで表示されるため、実空間透視ケータイ片手に目的地にたどり着くことができていた。事後アンケートでは、ナビゲーションに関しては賛否分かれたものの、直感的な操作が分かりやすく面白いと捉えられ、今後の利用意向が高かった。なかでも、店舗の前で学生がソフトクリームのおいしさを紹介する動画によって、実際にそれを購入する人が出たところにARの可能性を感じた。ロケーションベースのコンテンツ情報提示は強い力を持っているようである。

2. 事例紹介2「バーチャル飛鳥京」
角田哲也氏（株式会社アスカラボ代表取締役）

2.1. AR技術の応用

2.1.1. AR技術の処理形式

ARは、現実世界とCG等の仮想世界を合成し、拡張現実感を得るものである。現実世界とCG等の合成処理の手法には、以下の2種類がある。

1. ビデオシースルー方式
   ゴーグルの手前にカメラがついて、それを一度撮影した画面に CGを重ねて表示する。完全に画像をコンピュータの中に取り込むので、より精度の高い画を作ることが可能である。しかし電源が切れた際、目の前が真っ暗になる等危険性がある。
2. 光学シースルー方式
   現実世界の光景を透過させ、これに仮想世界のCG をハーフミラーや、Head Mounted Display等を用いて重畳させる方式。つまり、ユーザの網膜上で仮想世界と現実世界を合成させる方式である。自分が見えている世界に CG が合成されるが、 CG が半透明で質が劣るという欠点がある。

2.1.2. AR 技術の応用例「オリンピック招致プロジェクト」

東京大学大学院情報学環池内研究室は、2016 年オリンピック・パラリンピック競技大会の東京招致を目指し、オリンピックスタジアム建設予定地にてスタジアムの完成予想CG 映像を合成する「実光源環境を考慮した多人数参加型複合現実感（MR: Mixed Reality）システム」を開発した。

オリンピック開催視察団が、このシステムを搭載したゴーグルをかけて、更地の建設予定地に立てばそこに建設予定のオリンピックスタジアム等施設のバーチャル映像が現れるというものである。

2.1.3. AR技術の課題

1. 幾何学的整合性
   CG を合成する際に、現実世界との位置あわせにおいて、出したい位置にぴたりとあわせることが難しい。
2. 光学的整合性
   CG を合成する際、実際の照明と違うと違和感が出てしまう。CG と現実世界との明るさ・色・陰影を一致させることが難しい。
3. オクルージョン（遮蔽）処理
   歩いている人の手前にむやみに CG を合成すると、顔が消えて足だけ見える等、違和感が生じる場合がある。CGと現実世界の前後関係の判別が難しい。

2.1.4. AR技術の課題解決1：光学的整合性

CG 物体を合成する際、実世界の光源分布を計測して、CG上にシェーディングをつけて仮想物体表面の陰を実世界の光源環境に一致させることでリアルな体感を作り出すことができる。物体の上に、任意の視点において実時間で実行可能な「影付け平面」手法を用いることで、ユーザの視点が移動してもそこに影があるように見せることができる。

ポイントは、いろいろな所から光が当たった状態を事前に計算し、その物体が地面に落とす影の状態をデータベースに蓄えておくことである。これを、実際の光の明るさの情報を取るために、魚眼レンズをつけたカメラで撮影しておいた空の全方位画像をもとに、実世界の光源分布を計測して、事前計算した影の基礎画像を合成することによって今の照明環境下における仮想物体の影を生成する。この影画像を影付け平面にテクスチャマッピングすることによって擬似的に影を表現するのである。

2.1.5. AR技術の課題解決2：オクルージョン処理

オクルージョン処理において、あらかじめ背景を撮影し、人物との差分をとることで動いている領域だけを抽出した。さらに、影が建物にたくさんあると不自然なので、物体固有の反射率から求められる「不変量を用いた影除去」という手法を提案し、前景物体からの影をとる技術を開発した。最終的に人物の画像中の位置から前景物体の奥行きを推定して CG と正しい合成ができるようになった。

2.2. AR技術による遺跡復元

2.2.1. 従来の遺跡復元の問題点

遺跡復元の方法のひとつとして、室内レプリカを実際に現地に建設してしまうものがある。しかし、一度建設してしまうと、修正・変更が困難であること、また建設コストが大きく、遺跡や環境を破壊してしまうという欠点がある。

また近年、CGを用いた奈良大仏の創建当初復元の試みがある。 しかしCG 技術も、屋内型で用いられ、遺跡と無関係になってしまう等、臨場感に乏しいという問題をはらむ。

2.2.2. 遺跡復元にAR技術を用いる利点

レプリカやCGによる従来の遺跡復元の欠点を克服するのが AR 技術を用いた遺跡復元である。例えば、 StrickerらのARCHEOGUIDEプロジェクトでは、 AR を利用して古代ギリシア時代のオリンピア遺跡にCG で復元された当時の建物を重畳表示するウェアラブル観光案内システムが提案されている。

遺跡復元にAR技術を用いる利点として、以下の4点があげられる。

1. 屋外の埋もれた文化財資源を再発見できる。観光客にとって現実世界では平城京跡の野原が目の前に広がっているだけなので、「実は、地下にはこんな遺跡がある」とARを使って見せることが出来る。
2. 遺構の保存と活用を両立する。
3. コンテンツの差し替え修正が容易である。新しい発掘によって遺跡の復元案に変更が出ようと、簡単に修正できるのである。
4. 現地に来て体験することが可能になる。観光客にそこでしか見られないコンテンツを見てもらうことで、地域産業の活性化に結びつく。

2.3.「バーチャル飛鳥京」

2.3.1.「バーチャル飛鳥京」とは

「バーチャル飛鳥京」は、奈良県の明日香村に、7世紀頃の古代飛鳥京の都市をAR 技術を用いて再現しようという東京大学大学院情報学環 池内研究室主体のプロジェクトである。株式会社アスカラボは、このプロジェクトの事業化を目指し、研究室メンバーにより設立された。

飛鳥京の復元において、AR技術が有効な理由は以下の2点である。

1. 古都保存法適用地域ではめったやたらに開発ができない。そのために、新しい博物館やレプリカを作るということは非常に困難である。
2. 発掘調査が継続中で複数の復元案があり、また遺構が重層で地下を掘る程に新しい年代の遺跡が発見される。複数の年代に跨った遺跡を CG で見せるという点でも AR 技術は有効である。

2.3.2. 飛鳥京 AR コンテンツ制作

復元図面を参照し、3次元CGソフトを用いてモデリングを行った。現地で表示して現場の風や雰囲気を感じながら、臨場感を味わうことにこだわっている。

飛鳥京建築物モデルは、小さな建物が200個くらいあったので、復元図面の寸法をもとにパラメトリック３次元モデルを定義することで、自動生成した。

2.3.3. 一般公開イベントにおけるアンケートとフィードバック

一般公開イベントにおけるアンケート結果を基に、以下のようにコンテンツや展示方法の改良を行っている。一般公開イベントは観光客だけでなく。地元住民も遺跡に行って昔を再発見する機会としても有効であるとわかった。

• 人物表現の高精度化
  「建物だけでは臨場感がないので、当時の人が出てきて欲しい。」という要望に応えるために行った。
  奈良文化財研究所にて役者に古代の衣装でお辞儀をしたり語りかけてもらい、多角度から撮影した画像を元に、立体的な人物のモデルを画像ベースで復元している。これをハードウェアに合成し、見ている人とインタラクションできるような仕組みを作りたい。
• 高松塚古墳壁画の高解像度画像動画を間近で見られる新規コンテンツ導入 高松塚古墳でゴーグルを装着するとその古墳の中にワープしていって、自分の視点が、石室の中に入り、ゴーグルで頭を動かしながら間近に見られる。
• モバイルに近い簡易的なハードウェア提供
  パノラマVRビューアーでは、低価格のHMDのディスプレイについている機能により、頭の向いている方向を簡易的に取ることが出来る。これを用いて事前に撮影しておいた現地のパノラマ画像とそれにあわせて生成したCG画像を切り替えて見せることで、きめうちの綺麗な画を事前にレンダリング、つまり、３次元化したデータに質感を与えるための色づけと陰影を表現できる。これをお客様にぐるぐる見回すことで体感していただけるようなビューアーを開発した。

2.3.4. 教育効果評価実験

これまでに、屋外遺跡復元 AR コンテンツの教育効果評価は行われていない。そこで、2007年一般公開イベント参加者の28歳から77歳までの男女19名を対象に、足場の上で飛鳥浄御原宮モデルをHMDに2分間表示し、評価項目に基づく質問を5段階で評価してもらった。

評価項目は以下の4点である。

1. 飛鳥京や明日香村の地域社会への関心を高める
2. 飛鳥時代の歴史や文化に対する新しい知識獲得
3. 文化財保護の重要性について理解
4. CG や AR といった技術の仕組みと特性を理解

結果については、飛鳥京全体に対して知識が増した、AR技術が分かったという回答が多かった。AR システムによって、今まで博物館で見ていた展示よりも、現実のスケール感が掴めたことによって、知識が向上したのではないかと考えられる。また、実際にゴーグルをかぶって頭をふるという形態は非常にわかりやすいようである。

逆に、地域社会への関心を高めるという項目には、効果がみられなかった。飛鳥京に関するコンテンツだけでなく、明日香村にちなんだエピソードを語る必要があるようである。これらの結果を元に最終的には登場人物と語り合いながら学習していくような過程をつくりたいと考える。

2.4. 今後の展望

2.4.1. オープンスカイミュージアム構想

これまでの取り組みはAR システムで感動を与えることに過ぎず、単発の観光イベントに終わり、地域に根差して常にお客様に来てもらう仕組みがない。観光客が来る時の「動機づけ」からのデザインが必要である。

そこで、Google mapで遺跡発掘情報をクリックすると見られるように公開しGoogle earthのプラグインを使って、ブラウザ上で飛鳥京を選択すると空を飛べる遺跡復元のサンプルCG を事前体験できるようにし、「明日香村に行ってみたい」と動機づけを行うことを考えている。

学習の過程としては、博物館等での解説から事前知識を獲得してもらい、その後実際フィールドに出て、知識を確認する仕組みを作ることが効果的ではないか。その際、明日香村では各地に点在した遺跡を見るためのモビリティに考慮する必要がある。移動時間に観光情報の解説を聞きつつ歴史学習ができるパーソナルモビリティ（一人用の電気自転車や電気自動車）を用いることが有効であろう。

現地遺跡につくとゴーグルを使って過去の遺跡を見ることが出来る。最後に携帯電話やスマートフォンを使って地域SNSにコメントを投稿することで、地域の人との交流を生み出すことも考えられる。お客様が新規コンテンツ更新ごとに明日香村に再訪するような仕組みを作ることを目指す。

2.4.2. 海外での「バーチャル飛鳥京」の展開

オーストリアの「アルスエレクトロニカ2008キャンパス展」に東京大学の展示物のひとつとして「バーチャル飛鳥京」を出展し、奇妙にもリンツの町並みに飛鳥京を出現させた。海外コンテンツも取り扱おうという試みから、東京大学大学院情報学環池内研究室ではローマ市においてフォロ・ロマーノの遺跡をARで復元するという実験もしている。

2.4.3. 今後のARサービス

産業の分野では、図面からCGモデルを出現させるというARの応用が考えられる。また、そこに無いものを見せるという意味で、洪水時想定される被害を可視化するビジュアルアプリケーションとして、ARツールが使えるであろう。

エンターテイメントとしては、未来のバーチャルな子供たちがゴーグルをかぶって街中に飛び出していくとモンスターが襲ってくるような、「電脳コイル」に似た状況が将来的に可能になるであろう。ARを使えば公共空間の中にプライベートスペースをバーチャルに出現することが出来て、持ち運べる自分の部屋というものも考えられる。

3. 指定討論
西森年寿氏（東京大学教養学部 特任准教授）

3.1. AR技術がどのように教育を変えるか

AR技術というと「電脳コイル」というアニメが連想されることが多い。このアニメの中ではAR技術が浸透している未来世界が描かれている。そこで学校はどう変わっているのかを確認するために、2020年の学校のシーンを観ると・・・。2020年も電子黒板は無く、教室の風景は何も変わっていない。

とはいえ、ARによって、教え方のうまいバーチャル先生が出てきて教えてくれるということも考えられるのかもしれない。あるいはARは教育的には全く無視されて、教室の中で生徒がこっそり使っている環境になるのかもしれない。

3.2. 教育メディア史から観てAR技術は何がすごいのか

抽象的な概念と実物のものを結びつけるために、教育メディアは使われてきた。教育メディアの原点といわれるのは、コメニウスの世界図絵である。静止画はやがて動画へ、そしてマルチメディアの出現によって動画を自由に扱えるようになり、教育メディアは展開してきた。現実世界に対してさらに具体と抽象を結び付けるツールとしてARは寄与するかもしれない。

しかし、マルチメディア教材だけで子供たちは学習できるのか、という疑問の声もあるように、ARの導入もそのものだけで学習に結びつくのかという問いは立つであろう。

3.3. 学習環境におけるARの意義とは

ARを学習に利用する大きな意義は、「その場」に行って学ぶことが可能になるということであろう。しかし、画面上で3Dを触るだけでもモノゴトの理解は進むはずである。そうではなくて、その場に行って3Dを観ることにいかほどの学習の違いがあるのかが慎重に検討されなければならない。

また、「具体的経験（展示物とか実物観賞）→反省（考えて、みたものを整理）→抽象的概念を導出→概念を現実に当てはめる→その場で考える→具体的な経験に帰ることで経験の質が高まる」という、コルブの体験的学習のサイクルがある。これは、経験がスパイラルに上がっていくというモデルである。こういったモデルを踏まえARを利用した学習モデルを考える必要があるだろう。