CMU－ETC REPORT

カーネギーメロン大学ロボット工学研究所
「コンピュータ・ビジョンとコンピュータ・グラッフィックス」

CMU ETC　伊是名宥樹　　

　読者の皆さんは「ロボット」と聞くと何が浮かぶだろうか。テレビアニメが好きな方なら、アトム、ガンダム、そしてドラえもん、CG映画が好きな方なら、最近公開された『I, Robot』や『Robots』と、各人によっていろいろであろう。我々日本人は、ロボットアニメに強い影響を受けてきたせいか、「ロボット」と聞くと真っ先に二足歩行のロボットを思い浮かべるのではないだろうか。しかし、前回のレポートで紹介した「ロボットの殿堂」を主催しているカーネギーメロン大学ロボット工学研究所が開発しているロボットは、我々のイメージするような二足歩行ロボットだけではない。例えば、ロボットの脳となる人工知能や、ロボットの目にあたるコンピュータ・ビジョン、ロボットの腕にあたり産業用ロボットなどに使われるマニピュレーター、さらにこれらの技術を基盤としたエンターテイメント分野にも関連のあるカメラやコンピュータ・グラフィックスの研究等、多岐にわたり様々な研究・開発が行われている。今回は、そのロボット工学研究所の研究の中から、コンピュータ・ビジョンやグラフィックスなどエンターテイメント分野に応用可能な研究・開発を紹介したい。

ロボット工学研究所

　研究の詳細を紹介する前に、ロボット工学研究所の概要について少し触れたい。このロボット工学研究所は、米国ペンシルバニア州ピッツバーグ市にあるカーネギーメロン大学コンピューターサイエンス学部の一機関で、1979年にロボット工学の基礎・応用研究を目的として設立された。
　研究所は視覚・自律システムセンターをはじめとする7つのセンターから構成され、それらの中には合計約40ものラボ・グループがあり、人工知能、モバイルロボット、産業応用、医療応用、制御&システム、宇宙ロボット、画像・知覚・センサー、そしてグラフィックス＆視覚化と、ロボット工学に関連する200以上のプロジェクトが進行している。現在の構成員数は教授陣、スタッフ、大学院生合わせて400人弱になり、政府関係機関の米国国防総省（DARPA）、NASA、国立科学財団（NSF）や、ロボット関連及び、自動車・医療・航空・農業・鉱山企業をスポンサーあるいは共同研究団としてサポートを受けながら、基礎・理論・実用的研究・開発を行っている。さらに世界各国の大学や研究機関から学生、研究員を受け入れ、世界最先端の技術を学ぶ場としている。
　このロボット工学研究所では、日本人研究者も多く活躍しており、常時日本の企業や大学からの客員研究員が滞在し、共同研究を行っている。中でも、金出武雄教授は1974年に京都大学工学博士号を取得後、同大助教授から1980年にロボット工学研究所に移籍し、現在までロボット工学の幅広い領域で活躍し、ロボット工学の第一人者として広く認知されている。代表的なものだけでもコンピュータ・ビジョン、センサー、マルチメディア、自律ロボット等、基礎から応用まで広範囲に渡り研究業績をあげ、1992年から10年間ロボット工学研究の所長としてロボット工学研究所の発展に大きな貢献を果たした。それではまず、金出教授の数多くある研究の中から代表的なコンピュータ・ビジョンの研究の紹介から始める。

仮想化現実（Virtualized Reality^TM）

Fig.1: カメラが設置された仮想化現実のための 3D room in CMU

　金出教授の代表的なコンピュータ・ビジョン研究の一つに、1995年から行われている「仮想化現実（Virtualized Reality）」という研究がある。これは、多数のビデオカメラで撮影した現実世界の映像を、画像認識技術とコンピュータグラフィックス技術を使用し、ビデオカメラで撮影された2次元画像から3次元モデルをシームレスに統合する技術である。この技術によって、複数のカメラで撮影されている現実世界のイベントを自分の好きな角度/自由視点（例えばカメラが設置できないような視点）から、しかもリアルタイムに見ることができるのである。米国では、2001年1月に国内で最も高い視聴率を誇るスポーツイベント、スーパーボールの試合中に、CBSと共に金出教授の手によって開発された「Eye Vision」と呼ばれる仮想化現実技術が使用された。映画『マトリックス』のような特定の対象物を中心に360度回転する映像が選手のプレイ直後に流れ、通常のカメラからは捉えることのできない角度での選手の映像に視聴者は驚き、さらに微妙な選手の動きを審判する映像にもなったのである。日本では、1999年から4年間に渡って「仮想化現実技術による自由視点3次元映像スタジアム通信の実証実験」として、財団法人ハイパーネットワーク社会研究所、筑波大学、慶応技術大学、大分大学、竹中工務店がサッカースタジアムに多数のカメラを設置し、試合を自由視点中継する仮想化現実の実験を行った。この研究では、大分県にあるサッカースタジアム「ビッグアイ」を使用し、サッカーの試合中に遠隔地にいる視聴者が、パソコンを通して自由な視点からの映像をほぼリアルタイムにマウス操作で指定して見ることが可能なことを実証した。この技術、一般普及までにはまだまだいろいろ課題が残されているそうだが、将来自宅でプレイヤーの目線から試合が鑑賞できる日が来ることを楽しみに待つことにする。

テクスチャー置換とテクスチャー統合

Fig.2 : テクスチャー置換
（左）元の床カーペット、（右）置換されたカーペット

　ロボット工学研究所の準教授で、コンピュータ・ビジョンの研究を行っているヤンシー・リウ博士（Yanxi Liu）の行っている実像におけるテクスチャー関連技術もまた非常に興味深い。実像におけるテクスチャー置換（Texture Replacement in Real Images）と題するこの研究は、デジタルカメラで撮影した画像の中のある特定のテクスチャー（例えば、カーペットの模様や壁紙のパターンなど）を置き換える技術であり、インテリアデザインやデジタル映画メーキングに応用することが考えられている。この技術が実用化されれば、すでに撮影した映像の背景のインテリアやエクステリアの模様を変更したい場合に、背景セットの作り直しや撮り直しをせずに画像処理するだけで、ライティングと陰影による効果を変更せずに、背景のテクスチャーを置き換えることができるようになる。
　同氏のもう一つの研究、近規則的な模様のテクスチャ統合（Texture Synthesis on Near-regular Patterns）（Fig.3）も、デジタル映画に応用できそうな研究である。これは、映像の中のオブジェクトの模様が一部しか残っていない際の修復（例えば、古い映画をデジタル化した際に、背景のある一部のパターンがかけている場合の修復、一部しか残っていない伝統的なテキスタイルのパターンのデジタル画像での再現等）を行う技術で、ランダムにゆらいだ継ぎ目のない近規則的パターンを生成することができる。

Fig.3

　リウ博士の研究はコンピュータ・ビジョンの技術を基盤としている一方で、コンピュータ・グラフィックスにも深い関わりを持っている。次は、リウ博士の在籍するグラフィックスラボの研究に焦点を当ててみることにしよう。

コンピュータグラフィックスラボ

Fig.4 :
Output-Sensitive Collision Detection for
Reduced Deformable Models

　研究内容を紹介する前に簡単にラボについて少し説明をする。コンピュータ・グラフィックスラボは4年前に設立されたばかりの、ロボット工学研究所内では比較的新しいラボである。歴史は浅いが、毎年米国で行われるCGに関する世界最大の国際会議SIGGRAPHで発表される論文数が毎年増加するなど、着々と実績を上げている。SIGGRAPH2004のアニメーションフェスティバルでダッグ・ジェームス博士（Doug L. James）が論文と共に発表した「低減変形モデルのための高感度衝突検出」（Output-Sensitive Collision Detection for Reduced Deformable Models）（Fig.4）の椅子の落ちるアニメーションはご覧になった方もいると思うが、彼もロボット工学研究所の一員である。現在、このグラフィックスラボは教授陣と大学院生あわせて20人程度で構成されている。ラボの卒業生は主に大学の研究機関に研究員として就職しているが、3DCGアニメーション映画『Mr. インクレディブル』を制作したピクサーや、ジョージルーカスが率いるSFX工房インダストリアル・ライト＆マジック、3Dソフトウェアのソフトイマージュ、グラフィックスカードで有名なNVIDIAなどの企業への就職者もおり、CG業界の第一線で活躍する研究者を続々と輩出している。

流れを基本とする映像統合と編集

Fig.5 :（左）オリジナル　（右）合成後の滝

　まずこの2つの写真を見て頂きたい（Fig.5）。左は実際の滝の映像であり、右はそれに基づいて作られた合成の滝である。これは、ビデオ映像の中の自然現象、特に河の流れのような連続的な流動パターンを、統合したり編集をしたりするための新しいアルゴリズムの研究である（Flow-based Video Synthesis and Editing）。ジェシカ・ホギンス博士とそのチームが開発したこのアルゴリズムは、ビデオの中の粒子の動きを分析し、任意の長さのシームレス映像として統合したものであり、滝、河、炎、煙の表現が可能となっている。この研究も、映画の特殊効果作りに応用できる素晴らしい技術の一つである。

アニメーションキャラクターのパスプランニング

Fig.6 : キャラクターアニメーションのパスプランニング

　ロボット工学研究所・研究員のジェームス・カフナー博士の行っているこのキャラクターアニメーションのためのパスプランニング（Path Planning for Characters animation）も非常に面白い（Fig.6）。この研究は、3DCGで作られたキャラクターが、タスクレベルの命令（例えば「テーブルまで歩いて、本をとる」等）をリアルタイムで理解し実行させることを目標としている。このソフトウェアがあれば、ユーザーがコマンドを指定するだけで、ソフトウェアがその命令を元にキャラクターの通るパスや取るべき動作モーションを計算し、障害物をよけるなどバーチャル環境に合わせた適切な行動をとらせることができる。将来、バーチャルリアリティや、テレビゲーム、ウェブのアバター、あるいはリアルタイム・バーチャルヒューマンシミュレーション等に利用することが期待されている。カフナー博士は、これらの研究を元に自律二足歩行ロボットのためのモーションプランニングの研究も行っている。

リアルタイムレンダリングのための解析的な単散乱モデル

Fig.7 : （上）電灯がともる前
　（下）その後

　最後に紹介するのは、コンピュータ・グラフィックスラボで行われている最も新しい研究の一つであり、今年の8月にLAで行われるSIGGRAPH2005で発表予定のリアルタイムレンダリング技術である（Fig.7）。この論文（A Practical Analytic Single Scattering Model for Real Time Rendering）は、かすみ、霧、もや等を3Dのシーンの中にリアルタイムで取り込む技術の研究である。従来のやり方ではインタラクティブな操作を行える即応性が得られなかったが、この研究ではリアルタイムのパフォーマンスとOpenGLの霧モデルの従来通りの使いやすさを維持しながら、光源の周りのグローや、光沢ハイライトの拡散などの影響、複雑な照明下における見栄えなどのような重要な効果を実現する画期的なアプローチを取っている。実用化されれば、リアルタイムレンダリング技術が活用されているテレビゲームで色々な美しい効果がだせるそうだ。

おわりに

　今回は、カーネギーメロン大学ロボット工学研究所の概要および、そこで行われているエンターテイメント関連に応用できそうなコンピュータ・ビジョンやコンピュータ・グラフィックス関連の研究を紹介した。今回紹介することができなかったが、同研究所では他にも数多くの研究が行われている。例えば、米国国防総省主催のグランドチャレンジというロボットカーレースで最長距離を走った無人自動車、地元ピッツバーグ大学のメディカルセンターとの共同開発中のメディカルロボット、NASAと共同で開発中の隕石探査のロボット、巨大な車輪がついて反転しても走り続けることができる軍事関連ロボット、無人ヘリコプターなど、我々のもつロボットのイメージとは違うロボット技術が研究されている。現在、米国ではFSC（Future Combat System）といって、米国国防総省（DARPA）が推進している防衛構想がある。それらの関係のため、このロボット工学研究所は、軍事・医療などに関する技術・開発を最重視し、今回紹介した研究のようなエンターテイメント性の強い要素をもつ研究は実は少数となっているのである。
　将来、ロボット工学研究所のもつ高い技術が、軍事目的で開発されたり使用されるだけではなく、人を楽しませたり和ませたりするようなエンターテイメント産業や、ソニーのエンターテイメントロボットAIBOやQRIOのような夢を与えるようなロボットの開発に活かされるよう心から願いたい。