BLOG

2013.04.21

【今年の研究計画】楽器演奏の熟達化を促すゴースト表示システムの開発

みなさん，こんにちは．M2の吉川遼です．
先日，構想発表会にてM1に向け自身の研究計画をプレゼンしたり，後輩に研究室の業務を引き継いだり，...と4月の様々な出来事を通して自身がM2になったことを実感すると同時に，残り1年を切った修士生活と静かに迫り来る修論執筆に対して，残り少ない日々のよい過ごし方を考える毎日です．

さて，今回は「今年の研究計画」第3回ということで今年度自身が取り組む研究の大まかな内容についてご紹介させて頂こうと思います．

----------
楽器演奏の熟達化を促すゴースト表示システムの開発

■背景
ギター演奏の熟達化においては，専門家の指導を受けることなく独学でのギター演奏の習得形態が選択されやすい（数森ほか 2010），初心者より演奏経験の多い初級者においても楽曲の分析において楽譜上に明示された特徴の把握に留まる（大浦 1999）といった問題があるが，通常，演奏者は，楽曲を分析し，作曲者の意図を読み取った上で，自分自身の意図を加えて演奏を行い，このような芸術的逸脱は芸術的かつ多様な演奏にとっては不可欠なもの（山崎 2007）とされている．

しかしながら，熟達化においては，模倣のみでは熟練者の見た目の動きがどのような過程を経て生まれたものであるのかを把握するのは困難（伊東ほか 2009），世界観など，暗黙的な要素を習得することが重要（佐藤ほか 2009），自身のパフォーマンスや理解に対し違和感を覚えることが必要（北村ほか 2005）とされている．

上記の問題に対し，現実世界への働きかけに対するより多くのフィードバックが得られる拡張現実感技術を用いた学習支援（杉本 2008）により，自身と熟達者とのパフォーマンスの差異がフィードバックで獲得できるものと考えられる．

このような差異を示すにあたり，「ゴースト」と呼ばれる提示手法（Yang et al., 2002）が考えられるが，学習者が自身の身体動作に半透明や色彩がスワップされた形の指導者の身体動作を模倣する形で学習をおこなう形式においては一定レベルまでの到達は早いものの，ゴーストがない状態とほぼ同じ程度までしか到達できない問題点も指摘されている（高橋ほか 2004）．

熟達における問題点や楽器演奏熟達者の特性を考慮し，

1. プロセスにおける熟達者の暗黙知的要素の提示
2. ARによる視覚的フィードバックによる差異の提示
3. 演奏者の一人称視点からの手本提示

の3点が楽器演奏支援においては必要な要素だと考えられる．
しかしながら，楽器演奏支援の先行研究（元川ほか 2006，樋川ほか 2006，楊ほか 2012，など）においてはこれらの要素が考慮されていない．

■目的
初級者を対象に，自身の演奏を形成するための教示として熟達者の所作を一人称視点からゴーストで表示し，自身のつまづきや疑問点を熟達者の語りで補完するゴースト表示システムを開発することで，初級者の演奏における芸術的逸脱の達成を支援し，演奏技能熟達化を目指す．

■システムの設計
熟達者の運指映像を輪郭抽出，透過率50%等によって可視化，ヘッドマウントディスプレイを用いて重畳表示を行う．また，熟達者がどの点に気を付けて演奏しているか等，演奏における熟達者の意図をパート毎に提示する．

■実験手法
初級者10名程度に対し，システムを用いた演奏練習を一定期間実施する．

■評価手法
事前質問として曲に対する意識や普段の演奏時の意識を，事後質問として知ったことにより，どのような演奏を心がけるようになったか，作曲者や自身の意図を反映した演奏ができるようになったか，等の項目についてインタビューを行い，演奏観の変化を発話から分析する．

----------
このようにして見てみると，「博物館で背景情報を使って学習支援する，という話はどこに行ったのか？」と1年前と比べてみて感じるのですが，この1年間様々な分野における「背景情報」に当たり，その中で「熟達者の動作」における「身体知」とその動作を可能としている「暗黙知」が，普段単純に模倣するだけでは学べない「背景」なのではないか，と考え，今の研究に至りました．

まだまだこの先開発や実験，分析，そして論文執筆と自分が取り組むべき課題は山積していますが，一つ一つ目の前にあるものに対し全力に，丁寧に取り組んでいきたいと思います．

【吉川遼】