Untitled
junkpuyo:

Requested by [abenteuerzeit]

junkpuyo:

Requested by [abenteuerzeit]

warapuri:

GoPro 6台使ったパノラマ動画

GoPro 6台使ったパノラマ動画 を作ってみました。

やりたいことはパノラマ動画をUnityでの再生して、Oculus Riftで見ることです。

GoPro HERO3×6台と、「360Heros」というGoProマウンタを使って撮影しました。

音はGoProの下で私が這いつくばって、バイノーラルで録音しています。(よく見ると下に私がいますw)

Autopano Video Proという神ツール

動画6個をパノラマにするのには、Autopano Video Proというアプリケーションを使いました。(トライアルなので、Watermarkがついてしまいますが、気にしないで下さい)

で、この「Autopano Video Pro」が素晴らしいのが、動画6個を同期するのに「音」で同期できるという点です。つまり、録画スタートして、全カメラが撮影しだしたときに、キーとなる音(例えば指パッチン)を出しておけば、後でこれを元に「Autopano Video Pro」が同期してくるのです。うぉーーー!すげーーー!凄すぎる!

「Autopano Video Pro」は本当に凄くて、パノラマ動画を作るためのあらゆる機能が入っています。一番感動したのが、スティッチ機能です。

デフォルトで何も修正しないでレンダリングすると、カメラとカメラの間がうまく補間してくれないのです。

最初は「あー、こりゃ使い物にならないな」と思ってたのですが、いろいろいじっているとどうやら手動でスティッチに使う参照ポイントを指定できるらしいとわかりました。

つまり「動画Aのビルの角と動画Bのビルの角は同じポイント」というように指定していくと、あら不思議、ビターーーっと補間してくれるようになってくれるんですよ!凄いんですよ!

複数ポイント指定した方がうまく行くようなので、頑張って「こことここが同じだな」とかやって指定してきました。(あとで気づきましたが、参考になるポイントは人為的に置いておくと吉かもしれません。例えば壁に付箋を貼っておくとか)

ffmpeg2theoraを使ってOGGにコンバート

こうやって出来た動画はMP4なのですが、このままUnityに持ってくると何故かフレームレートが出ないのです。どうやら動画サイズが大きすぎるようなので、「ffmpeg2theora」というツールを使ってOGGファイルにコンバートします。

ffmpeg2theora -x 2048 -y 1024 000000-GoPro40.pano.mp4

こんな感じで、2048×1024にリサイズします。

バイノーラル音声のLR分離

で、今度は音です。音はバイノーラル録音したものなので、右と左とで分離しなくてはいけません。そうすることで、Unity上で別Audio Sourceとして配置できるので都合がいいのです。

LR分離はWindows用アプリ「SoundEngine Free」を使いました。

これでバイノーラル録音音声を読み込んで、メニューから「ファイル」→「その他の保存」→「LR分離保存」とやることで、二つのモノラル音に分離ができます。

UnityでOculus Rift用アプリとして出力

さあ、素材は揃いました。

あとはこれらをUnityにぶち込みます。

天球モデルはMaya LTで作った球を使います。UnityのSphereオブジェクトだと目が荒いのです。

シェーダーは両面レンダリングして光の影響を受けないシェーダを使いました。( @GOROman さんから頂きました。ありがとうございました!)

できた天球オブジェクトに、テクスチャムービーを流す簡単なプログラムを作ります。

音はバイノーラル録音音声を分離したものを使うので、この音と映像に合わせるのは自力でなんとかします。要するに、バイノーラルの方の音とパノラマ動画の方の音が合うように、プログラムで遅延再生しました。

あ、もちろんOculus Rift用カメラをぶち込みます。

そうして出来上がったものが、以下のアプリです。

Mac用: https://dl.dropboxusercontent.com/u/5911974/GoPro360Mac.zip

Win用: https://dl.dropboxusercontent.com/u/5911974/GoPro360Win.zip

Oculus Rift専用です。

以上です。

何か質問ありましたら、Twitterアカウント @warapuri までお願いします!

vr-360:

Our team hit the street to find out what the average person thinks about Virtual Reality and Head Mounted Displays!  What do YOU think?

vr-360:

Wasn’t VR supposed to be the wave of the future…30 years ago? Visit our Learn About VR page to read about the heady rise and deafening crash of VR technologies in the 80’s and 90’s. Here’s an excerpt:

Largely due to to visionaries like Lanier, virtual reality—or the idea of it—was…

vr-360:

It’s been a little over a week since Facebook announced its intentions to purchase Oculus VR for $2 billion in cash and stock and the Internet has been abuzz with commentary from the VR community and wider media ever since. Oculus VR founder Palmer Luckey took to reddit to explain the…

vr-360:

Curious about the history of VR? Head over to our Learn About VR page for a (short) narrative history of VR systems. The page will continue to be updated as our project progresses, but here’s a peak at the first section describing the important role of Computer Scientist Ivan Sutherland in the…

vr-360:

kidmograph:

TMBLR_CTY

A little VR cityscape for your Friday

vr-360:

kidmograph:

TMBLR_CTY

A little VR cityscape for your Friday

vr-360:

image

…..to our tumblog! We are vr360, exploring the social and technical history of virtual reality technologies. The promise of virtual reality has intrigued researchers since the development of computer graphics. From Star Trek to The Matrix, popular culture has long embraced VR. Despite a…

frozendailydose:

Disney Frozen’s “Let It Go” In 25 Languages: Behind the Mic

Oooh look, Dutch and German are the same person