CEDEC 2019の初日となる2019年9月4日,「AD&ADASシステムゲーム開発技術の融合」というセッションが行われた。ADとはAutomated Driving(自動運転)の,ADASとはAdvanced Driver Assistance System(運転支援システム)の略で,現在の自動車業界における,もっとも大きな話題の1つを取り上げたものだ。
 登壇したのは世界有数の自動車部品メーカーであるデンソーの,小口貴弘氏と服部陽介氏だ。ゲームに直接関係がある話ではないのだが,ゲームエンジンとして有名な「Unreal Engine」とAI技術を活用したADAS開発の実例が紹介されるなど,ゲーマーにとっても興味深い内容だった。

リンク「CEDEC 2019」公式サイト


■AD&ADASの開発に欠かせない仮想環境

 デンソーは本社が愛知の刈谷にあるメーカー。服部氏によれば,品川の「Global R&D Tokyo」は,AD&ADAS技術開発を中心に進めているという。AD&ADASの開発を都内に設けているのは「世界の人々とやり取りを行う必要があり,その点で東京は利便性が高い」という理由によるものだそうだ。
 Global R&D Tokyoでは,下のスライドに示されている4つの分野の技術開発を進めており,AD&ADAS開発はその1つになる。


 デンソーだけでなく,世界中の自動車および自動車関連メーカーが開発を競っているAD&ADASとは,いったいどういうものなのかを示したのが下のスライドだ。運転中のドライバーが行う認知,判断,操作の一部を肩代わりするのがADAS,すべてを肩代わりするのがADとなる。


 AD&ADASは「人命を預かる」という性質上,品質の確保が非常に重要だと服部氏は強調する。その品質を高めるためになくてはならないのが,「仮想環境」の活用だ。デンソーではどのように仮想環境を活用しているのか,具体例を紹介したのが小口氏だった。

 小口氏によれば,デンソーでは3つの柱でAD&ADASの品質確保を図っているという。そのうち,「公道の走行」と「テストコースでの評価」は実車を使ったもので,それらに加えて,仮想環境を活用して品質確保と開発の効率化を図っているのだ。


 実車による検証はもちろん非常に重視されており,実車を使った開発には積極的に取り組んでいる。テストコース北海道の網走と愛知県の額田にあり,さらに,2020年の完成を目指して「羽田テスト路」の建設中が進められているという。




 とはいえ,実車を用いた開発だけでは限界があるという。
 小口氏はテスラのCEOイーロンマスク氏の「自動運転の信頼性を確保するには60億マイルの走行が必要」という発言を引用し,実車の走行だけでは到底不可能とだ説明していた。イーロンマスク氏の見積もりが実際のところどの程度真実なのかという疑問はあるものの,テストのために長い距離を走る必要があるのは間違いないだろう。それを補完するための仮想環境は,AD&ADAS開発になくてはならないものになっている。



駐車場の仮想モデルを「Unreal Engine」を用いて制作

 仮想環境の最初の例として紹介されたのが,駐車場モデルだ。モデルの制作には冒頭にも書いたようにEpic Gamesの「Unreal Engine」が使われており,ゲーム開発などを行うスタジオORENDAと共同で作業にあたっているという。


 制作された仮想駐車場は,実在する駐車場モデルにしており,イギリスSimul Softwareが開発した天候生成技術「trueSKY」を使って,さまざまな天候や時間帯を再現できるという。


 このほか,立体駐車場の設計などを手がける企業,駐車場綜合研究所に駐車場の図面を発注し,それをもとに駐車場モデルを制作するといったことも行っているという。

 さて,こうして作られた仮想駐車場がどのくらいリアルなのかが気になるところだろう。下のスライドは,AD&ADASのAIを使って映像の特徴点を抽出したもので,AIはおおむね現実の駐車場と仮想の駐車場で同じ特徴点を抽出していることが分かる。つまりAD&ADASのテストでは,仮想の駐車場はほぼ現実の駐車場と同じように活用できるのだ。


 AD&ADAS開発では,こうして制作したモデルの中で仮想の車を走らせることになる。この場合,仮想の車が仮想空間を捉えるセンサーも仮想化する必要があるが,この点で小口氏が注目しているのが,最近のGPUに搭載され始めたレイトレーシングを使ってセンサーを近似する手法だ。速度と再現性を合わせ持ったセンサーモデルができるのではないかと期待しているという。


 カメラセンサーの仮想化では,実際の駐車場を3Dスキャナで走査して得たデータと仮想モデルから得たデータを比較して,同じようなカメラセンサーの出力が得られるように調整しているという。
 「Unreal Engine」の物理ベースレンダリングを用いているため,レンズの歪補正といった処理が容易に行えるため,現実のカメラセンサーを仮想空間でリアルタイムにシミュレートできるようになったと小口氏は説明した。


 さまざまな工夫を施してはいるものの,それでも「仮想の世界は,現実の世界と完全に同じにはならない」と小口氏は言う。どう異なるのか,そして,どうやったら近づくことができるのかといった定量的な研究は,世界的にもまだ始まったばかりで,一例として小口氏は,ドイツのケンプトン大学が行った評価の試みを紹介した。
 スライドは少し分かりにくいのだが,前方を走る車両の現実の映像と仮想の映像を使い,後者に対してエフェクトをかけ,現実の映像に近づける試みを定量的に評価した例だ。このような研究を積み重ねることが重要だという。



■Semantic Segmentationの学習用映像を「Unreal Engine」で生成

 AD&ADAS開発における「Unreal Engine」の応用例として続いて紹介されたのが,Semantic Segmentationの学習用映像の生成だ。
 Semantic SegmentationとはAIを使った画像分類の一種で,例えば,走っているオートバイの映像を元に,オートバイライダーを別のものとして認識するといった技術だ。
 AD&ADAS開発では,カメラで捉えた映像から走行可能な領域をリアルタイムに判断するために必要な処理と考えられており,世界中のメーカーや研究者が取り組んでいる分野の1つだ。


 Semantic Segmentationの精度向上には,深層学習ディープラーニング)を使うのが世界的な流れになっている。小口氏によれば,ニューラルネットワークに数千枚から数百万枚といった量の分類済みの画像を与えて学習させる必要がある。
 この学習用の画像を手作業で作成しようとすれば膨大な手間とコストがかかり,「ヒューマンエラーが生じる可能性もある」(小口氏)という。車載カメラで撮った映像に対して手作業でエリアを分け,タグ付けしなければならないため,間違いが避けられないのだ。

 そうした学習用の画像を,「Unreal Engine」で作成するのは有効な手段だと小口氏は述べる。「Unreal Engine」のディファードシェーディングなら中間バッファを簡単に取得できるので,(走行時の)タグ付けされた映像をピクセル精度で得られるのだ。



■AIを用いたTop Viewの実装を紹介

 最後に小口氏はデンソーが開発したTop Viewの実装を紹介した。Top Viewというのは車の前後左右に搭載したカメラの映像をもとに,上空から見たような映像(Top View)を作り出す技術だ。駐車場ドライバーが自分の車の位置を把握するのに役立つというADASの1つで,HMI(Human Machine Interface)の一種でもある。


 カメラは車の前後左右にしかないので,その映像をつなぎ合わせて俯瞰的に見せようとしても通常では歪んだ分かりにくい映像にしかならない。これをどうやって現実の俯瞰映像に近づけるのかが課題だ。


 小口氏らが試みたのは,下のスライドのような手法だ。カメラからの映像をもとにStructure from Motion(SfM)という技法を使って車の位置やほかオブジェクトの距離を推定し,それをもとにTop Viewを描こうというもので,この方法だとカメラに写っていない部分に穴(Occlusion)が空いてしまう。そこで,その穴の部分を深層学習の1つであるGANs(Generative Adversarial Networks:敵対的生成ネットワーク)を使ったAIで埋めようというアイデアだ。


 GANsを使った映像の穴埋めにはさまざまな先行事例があり,小口氏らはその中からIntroVAEというアルゴリズムを採用した。GANsの学習のために穴開きのTop View画像と,穴が埋められた正解のTop View画像が必要になるが,これを現実世界で大量に集めようとすると,かなりの手間がかかる。そこで,その映像の生成に仮想環境を活用したのだ。


 そのようにして学習したIntroVAEでTop Viewを作成しようとしたが,残念ながらあまりうまくいかなかったという。Top Viewの穴埋めはGANsによる欠け映像の推定だけでは対応できず,Top Viewの開発は難航した。


 壁にぶつかっていたちょうどそのとき,輪郭を推定するEdgeConnectというアルゴリズム発表されたという。詳しくはリンク先を見てほしいが,基本は輪郭を推定してつなぐというものだ。

リンクEdgeConnect: Generative Image Inpainting with Adversarial Edge Learning

 これとGANsによる穴埋めを組み合わせることで,実用的なTop Viewを完成させることができたという。下が完成したTop Viewで,車庫入れ時の映像だが,カメラから完全に遮蔽されたところにある車は消えてなくなるが,かなりいい具合の俯瞰映像が得られている。


 以上が発表は終了したが,最後に小口氏は,デンソー入社前はコンシューマゲーム機の開発に携わっていたという自分の経歴を紹介し,CEDECの来場者に対し,「自動運転の開発ではゲーム技術が欠かせないものになっています。皆さんにも,ぜひ興味を持ってほしい」と呼びかけて講演を締めくくった。競争が激化するAD&ADAS開発現場だけに,今後,ゲーム業界からの参入も盛んになるかもしれない。

リンク「CEDEC 2019」公式サイト
リンク4Gamer「CEDEC 2019」記事一覧


―――――――――――――――――――――――――――――
記事URLhttps://www.4gamer.net/games/999/G999905/20190907007/
→この記事を4Gamerで読む(※画像などがすべてある完全版です)
―――――――――――――――――――――――――――――
関連タイトル
HARDWARE Unreal Engine

―――――――――――――――――――――――――――――
Copyright (C) 2000-2019 Aetas, Inc. All rights reserved.

[CEDEC 2019]ゲーム技術が主役? 「Unreal Engine」を活用した運転支援システム開発の実例を紹介