興奮の「巨人×阪神戦」中継

2022年4月29日、30日、5月1日の日本テレビ系で放映された「巨人×阪神戦」は、視聴者に強烈な印象を与えた。特に映像関係者には、今まで見ることが不可能だったアングルに興奮を覚える映像だった。

キャッチャー目線からの投球映像。打球と一緒にトラックバックしながらのカメラワーク。プレイがストップモーションになりながらも回り込んでいくというマトリックス的な映像。とにかく、こればっかりはどんなに言葉で説明しても理解されにくいので、YouTubeに上がっているアーカイブ映像を見てもらおう。

野球世界初［自由視点映像］5月1日「巨人×阪神」ハイライト

最初は通常の野球中継の映像だが、リプレイに切り替わると上空からのダイヤモンド全体を見渡せるアングルから一気に投手に近づき、投球と一緒にカメラは打者へと迫っていく。バットにボールが当たる瞬間、時間が止まりストップモーションになるが、カメラはそのまま打者の横へと回り込み、打球を見せつつ一塁へ走っていく姿を後ろから追う。「えっ？どうやってるの？」と、唖然とせずにはいられない。

[シネマトグラファー小林基己の視点]Vol.05説明写真
自由視点映像の様子（提供:日本テレビ）

これはキヤノンのボリュメトリック技術を使用したシステムで撮影されている。東京ドームにぐるりと囲む形で設置された87台の4Kカメラによって、この異次元の映像を可能にさせていた。

[シネマトグラファー小林基己の視点]Vol.05説明写真
東京ドーム3連戦4/29～5/1に設置したボリュメトリックビデオシステム

キヤノンの川崎事業所内にある「ボリュメトリックビデオスタジオ-川崎」に伺って、技術を担当されたキヤノンのイメージソリューション事業本部SV事業推進センターの佐藤肇氏と日本テレビ放送網株式会社のスポーツ局
野球中継プロデューサー佐々木聡史氏に話を聞く機会に恵まれた。

実はこちらには2年近く前に一度伺っていてPRONEWSの記事「キヤノン川崎事業所にボリュメトリックスタジオ開設。未来を切り開く技術を見学」にさせてもらっている。ボリュメトリックは何かといった詳細に関してはこちらに掲載されており、今回はスポーツ中継とボリュメトリック撮影の可能性を中心に取材してみた。

キヤノン株式会社 イメージソリューション事業本部
SV事業推進センター 室長　佐藤肇氏

日本テレビ放送網株式会社 スポーツ局
野球中継プロデューサー 佐々木聡史氏

スポーツ中継とボリュメトリック撮影の可能性とは

日本テレビの佐々木プロデューサーは、「ドラマチックベースボールというタイトルが示すように、全てのシーンをドラマチックに見せるということでいろいろな施策を検討してきた」という。

佐々木氏：

もともと日本テレビは、民放初の野球中継を放映したというパイオニア精神が根付いていて、東京ドームリニューアルに伴い、野球中継として世界初の取り組みが出来ればと思っていたところ、2021年11月に川崎のスタジオでボリュメトリックビデオを見せていただき、野球と組み合わせることで、より大きな可能性があると感じました。
技術担当も、「野球やスポーツ中継は固定されたカメラ位置からズームを使ったりとかで表情を見せたりしているが、カメラマンが行けない領域に自由に行けることが驚きで、新しい創作意欲が湧いてきた」と言っていました。

ただ、東京ドームのリニューアルが3月にあるということもあり、現地調査に入れたのが2022年の2月26日。オンエアの予定まで、あと2カ月に迫った時だった。

技術陣は戸惑う中、佐々木プロデューサーの熱意によって実施が決まってからは、川崎のスタジオでのテスト撮影、4月4日～4月7日で東京ドームでのカメラとシステムの設置、その後、2回に渡り実際の試合によるテスト撮影と、怒涛のトライ&エラーを重ねて4月29日の本番を迎えた。

しかし、実際の試合ともなると想定と違うところも出てくる。簡単にいってしまえば、その時間と空間をまるまるキャプチャして、あとで自由にバーチャルカメラを移動できるというのが自由視点といわれる所以である。その範囲が広くなればなるほど負担が増してくる。そういったこともあって今回はキャプチャするエリアを内野に絞って考えていた。

それが、「想定と違っていたのはバッターが一塁ベースを回るときに膨らみ、急遽カメラを増やしてファウルゾーンまでエリアを広げた」（キヤノン 佐藤氏談）ということだった。実際の試合を撮ってみると想定外の部分も出てきてしまう。それを検証するための収録は、東京ドームに設置してから2回行われたということだ。

実は遡ること2019年、ラグビーワールドカップでキヤノンのボリュメトリックビデオが使用されていた。その時は100台以上のカメラで、サーバー車も2台用意しなければならなかったが、今回は87台、しかもサーバーが従来の半分で運営できるように最適化されたという。もちろん87台の4K60P素材のデータを3試合分残してあるので、全く別のアングルで動画を作成することも可能だ。

そして何よりも注目すべきは、遅延わずか3秒というリアルタイム性である。これはプレイを見た後に最適なアングルを探すボリュメトリックビデオとしては十分すぎるほど短いレイテンシーだ。

ボリュメトリック技術、システムの基本構成

ここで今回のシステムの基本構成についても触れておこう。

カメラはキヤノン"CINEMA EOS SYSTEM"ベースのカメラでボリュメトリック用に最適化したものを使用している。それを東京ドームのキャットウォークをメインに客席後方、「聖地」と呼ばれるメインビジョン下にも設置し、計87台。それが光ケーブルによってサーバーへと送られる。

サーバーには2台のカメラパスコントローラーが用意されており、それぞれ一人のオペレーターが操作している。そこでカメラワークを操作し、その映像が光ケーブルによって東京ドーム内の副調整室へと送られてオンエアされる。

つまり、東京ドームの中に時間と空間を自由に行き来できる透明な自由視点カメラが２台あるという事だ。

　 　　テキスト
カメラ設置の様子。キャットウォークの手すりにクランプでカメラを設置したり、ビジョン下の客席後方通路にやぐらを構築してカメラ設置、メインビジョン下のグリーン無人エリア（野球選手にとっては聖地）に緑箱でカメラ設置している
※画像をクリックして拡大

今回は、サーバーとコントローラーを載せた中継車に、番組のディレクターの指示でキヤノンのオペレーターの方が操作するというワークフローだった。カメラワークとクレーンワークを一人でやるようなものなので、普段、カメラマンをやっている自分からしてみると、一人でやるのはなかなか大変なことだと感じる。

　 　　テキスト
システム監視・コントロールの様子。球場外の通路にキヤノン中継車2台（#0、#1）を設置。キヤノン中継車#1では、搭載するサーバーにて自由視点映像を生成、同中継車内の操縦室では日本テレビのディレクションによりカメラワークをつける
※画像をクリックして拡大

しかも、クレーンやドローンよりも自由度が高いし、力学的な障害も無いのでスピードを掴むのは並大抵のことではないように想像するのだが、さすがに慣れたもので、ラグビーワールドカップの時に比べ、アグレッシブなカメラワークになっていたような気がする。通常はジョイスティックだが、オペレーターの方によってはゲームコントローラーを使用するということなので、YouTube動画のコメントにも野球ゲームとの比較で書く人が多いように、ゲーム感覚で操作するのがしっくりくるのかもしれない。

さて、ここで3月半ばに川崎のボリュメトリックビデオスタジオで収録された告知と実験の意味合いも兼ねた映像とそのメイキングを見てほしい。

大公開：撮影の裏側！新技術「ボリュメトリックビデオ」

最新技術映像「ボリュメトリックビデオ」4月29日（金）19時〜「巨人vs阪神」で放送！

ボリュメトリック技術の概略も動画を見る方が掴んでもらいやすいだろう。スタジオ内ではグリーンバックで20m×15mという範囲である。それが東京ドームとなるとキャプチャするのは内野だけとはいえ、両翼100mはあるわけで、もちろんグリーンバックなわけではない。カメラ位置も設置場所を見ると一番遠いところの設置になってしまう。確かに準備に2カ月、設置から3週間というのは冷や汗ものだろう。

メイキングの説明でもあったが、周りは東京ドームのCGに置き換えられるわけである。本番の東京ドームでの収録の時も、グリーンバックではないが、選手以外の部分は事前に作られた東京ドームのCGになるということは共通している。

そういったこともあってか、先ほど見てもらったアナウンスや状況音が入っているハイライト映像はリプレイ画像として他の素材にもなじんでいるが、ボリュメトリックの映像だけを繋いだBGMだけのものはCG感が増してしまう。人間というものは他のカットや音声でイメージを補完できる動物なんだなぁと感じてしまう。そういった意味でもリプレイ映像は最適な使い方なのではないかと再認識させられた。

リアリティに勝るものはない

あと、スタジオでの撮影本番とを比較して明確なのは、選手たちの動きだろう。実際に試合中に収録されたものは、力の入り方や躍動感など、小さなスタジオの中で撮影するのとは全く別次元のものになっている。スタジオで収録したものの方が、解像度も安定度もあるのに、リアリティはスタジアムで収録したものに到底及ばない。

キヤノンが、この3年間で遅延3秒という即時性にこだわったのは、この「生」のリアリティに勝るものはないという認識の元なのかもしれない。実際、ボリュメトリックがCGとはいえ、使っているテクスチャーはリアルタイムのもので、スライディングの土の汚れや細かいディテールの変化も反映されている。仮想空間とはいえ、紛れもなくそこには選手が存在しているのだ。

キヤノン、今後の展開

最後にキヤノンの佐藤氏から今後の展開について伺った。

佐藤氏：

キヤノンとしても、今回は仮設ということで、制限がある中での撮影でしたので、常設という形でカメラを設置して放送の方にも使っていただきたいし、様々なボリュメトリックデータとして2次利用的な形も模索していけたらと思います。
例えば、今回、自由視点ということでご提供しましたが、視聴者にとっては自由じゃないというような声も聞かれたので、そういった意味では視聴者が自由に仮想カメラの位置を選んでいけるようなシステムも目指していきたいと考えています。

[シネマトグラファー小林基己の視点]Vol.05説明写真

いつか自宅から自分好みのカメラアングルを自由に選んで鑑賞する日が来るかもしれない。これだけの最新技術を使ったバーチャルな空間にも関わらず、キヤノンのボリュメトリック技術は、スポーツの「生」を伝えるシステムへとこの3年間で進化していた。

2022年7月6日(水)、7月7日(木)の「巨人×ヤクルト戦」でボリュメトリック映像の撮影が決定。映像は日本テレビ系地上波、BS/CS等で放送・配信される。

■7/6(水)18:00～　読売ジャイアンツvs東京ヤクルトスワローズ

■7/7(木) 18:00～　読売ジャイアンツvs東京ヤクルトスワローズ

Vol.05 キヤノン×日本テレビが実現した異次元の野球中継映像[シネマトグラファー小林基己の視点]