フォトグラメトリは自主映画に使えるか?・低予算映画はデジタル技術を利用せよ
食わず嫌いが招いた過去の失敗
実は私はパソコンが苦手で、基本的には新しい技術に弱いんです。
先日も、自分で管理しているビジネス用のHPの設定で間違ったところをいじってしまい、管理画面にログインできない状態になってしまいました。
幸い、ネットの情報を調べたら同様の失敗例と解決法の記事が見つかったので復旧出来ましたが、丸半日費やしてしまいました。
実際のところ、新しい技術を使わなくても楽しいことはたくさんできるので、ついつい勉強不足になります。
過去にそれで損をした最たる例は、「グリーンバック合成技術の進化に気付くのが遅れた」というものです。
まだ、デジタルビデオカメラが普及する前、8mmビデオのようなアナログビデオの映像をデジタルデータに変換しながらパソコンに取り込めるようになった頃から、「映像のパソコン編集」には手を付けていました。
ただ、その頃はパソコンの処理性能が低くて、今から比べるとかなり画質の甘い8mmビデオの映像を、さらに画質を半分に落とした状態にすることで、やっとパソコンによる編集が出来たという時代です。
画質は悪いながらも、それまで、撮影したビデオテープを再生しながら、もう１台のビデオデッキに順番にコピーするという、原始的な方法で編集をしていたのとは違い、フィルム編集と同様の細かい編集が可能になった「パソコンを使った編集」ではさまざまな機能が試せました。
そのころ、当然、クロマキー合成の実験もしてるんです。
当時はグリーンバックでなくブルーバックで撮影していましたが、人物映像とミニチュアの室内セットの映像を合成した短編映画を作りました。
ただ、合成結果は満足できるものではありませんでした。
人物の輪郭に沿ってブルーのエッジが出てしまって、いくら微調整しようとしても、不自然な合成結果しか得られなかったんです。
この体験が後々まで「クロマキー合成は使えない」という認識を私に植え付けてしまったんです。
そこから10年以上経過し、2016年頃に、ふとしたきっかけで、パソコン編集ソフトの基本機能だけでも、かなり自然なクロマキー合成が出来るようになっている事を知り、慌ててその活用に注力して現在に至ります。
もっと早くから「クロマキー合成が使える」と気付いていれば、創作活動ももっと順調に進んでいたと悔やんでいます。
つくづく、食わず嫌いはダメだなと実感しているところで、今、気になっているのが、「フォトグラメトリ」という技術です。
写真から3Dデータを作るソフト
フォトグラメトリというのは、複数の写真を元に３Dデータを作る技術です。
３Dスキャナーなどを使わなくても、立体物の周囲からまんべんなく撮影した写真を加工すると、かなり正確な３Dデータが作成できるようです。
その３Dデータを３Dプリンタで出力したりするようですが、私が注目したのは地形の記録への応用例です。
地質学の分野ではこれが利用されていて、崖の様子などを立体データにして研究に活用されているようなんです。
学術分野で活用されるソフトは、無料で使ええるものも多く、たくさんのサンプルを見ることが出来ます。
当然ですが、精度もかなり高そうです。
DIY映画への応用案
それを見て私はすぐに、升田式スーパープリヴィズ法での映画作りに利用できそうだ、と直感しました。
升田式スーパープリヴィズ法では、一つの映像を
- グリーンバック撮影した人物映像
- 別撮りした背景映像
に分けて考えます。
いちいち映像合成する手間が膨大と思うかもしれませんが、最も時間が掛かる「人物撮影」の時間を1／5くらいには軽く短縮できるので、圧倒的に低コストで作品が完成させられるメリットがあるのが、最大の特徴です。
何本か作品を完成させてみて分かっているのは、違和感のない合成映像にする最大の課題は、「２つの映像の角度を合わせる」ということです。
つまり、「森の中にいる人物の顔」という映像を作る際、顔をやや下から撮った場合は、背景映像の森も同じような角度でやや下から撮ったものでないと、合成が著しく不自然になるんです。
撮影時は「大体合ってるだろう」と思っても、編集時にどうしてもうまく背景が合成できない、という事態になります。
そこで、現在は、「出来るだけ色々な高さに変えて背景映像を撮影する」ということで対処しています。
それでも、「もう少しだけカメラを上に向けた映像も撮っておけばベストだった」などと、キリはありません。
この背景映像に、フォトグラメトリで作った3Dデータを使えたらどうでしょうか？
理屈としては、かなり自由に角度違いの背景映像が書き出せそうです。人物映像とほぼ同じ角度で撮ったような背景が用意できるのではないでしょうか？
例えば、1つの室内の３Dデータを作れば、その部屋の中のシーンに使う背景は全てそのデータから書き出せることになります。
私が映画の量産のために構想している「背景映像のストック化」がさらに効率的になると思われます。
無料ソフト「Meshroom」を試した結果
調べてみると、フォトグラメトリのソフトはたくさんあって、前述のように無料のものもあります。
さっそく実験してみました。
使ったのは無料の「Meshroom」というソフトです。使い方はごく簡単ですぐに操作には慣れます。
３Dデータ作りには大量の角度違いの写真が必要ですが、私はビデオカメラで一続きに角度を変えながら撮影した動画から、一定間隔で静止画を書き出してそれを使ってみました。
このやり方でデータが作れれば、撮影の手間もかかりません。
しかし、結果は失敗でした。
データは生成されるのですが、ガタガタに歪んだ、とても実写の背景としては使えないデータしか出来ませんでした。
この原因が、取り込んだ画像の品質によるものなのか、ソフトによるものなのかは今のところ分かりません。
ただ、「Meshroomを使ってみた」というレポートの記事を見てみると、やはり同じような品質の３Dデータを作って「簡単に出来ました！」と書かれていたりするので、ソフトの性能によるところが大きいのではないかと考えています。
今回は一番使いやすそうな「Meshroom」で試しましたが、別のソフトは地質学の分野での「現場の記録」として使われていることを考えると、ソフトによって品質が大きく異なることが予想されます。
過去に「クロマキー合成は使えない」と早合点した反省から、フォトグラメトリに関しては、別のソフトでの実験を続けていこうと考えています。
もし、実用的なソフトが確認出来たら、報告いたします。
参考になれば幸いです。
オンライン講座「超実践的ストーリー映像製作講座・概要編」のご案内
この講座は、低予算で映画を作りたいアマチュア向けに、エンタメストーリーの作り方と映画制作の「裏技」を紹介するものです。
プロのやり方にこだわらず、簡単にオリジナルの映像作品を作る方法を教えます。是非、内容をご確認ください。
オンライン講座「超実践的ストーリー映像製作講座・概要編」の詳細はここをクリック
Past failures caused by unwillingness to eat
Actually, I’m not good at computers, and basically I’m weak in new technology.
The other day, I made a mistake in the settings of the HP for business that I managed, and I couldn’t log in to the management screen.
Fortunately, when I searched for information on the net, I found a similar failure case and a solution article, so I was able to restore it, but I spent half a day.
In fact, you can do a lot of fun things without using new technology, so you can’t help but study hard.
In the past, the biggest example of the loss was that we were late in noticing the evolution of green screen synthesis technology.
Even before the spread of digital video cameras, when analog video images such as 8mm video could be converted into digital data and imported into a computer, I started working on “computer editing of images.” .
However, at that time, the processing performance of personal computers was low, and it was an era when 8mm video footage, which was quite poor compared to today, could be edited on a personal computer by further reducing the image quality to half.
Although the image quality is poor, it is similar to film editing, unlike the primitive method of editing in which the recorded videotape is played back and copied to another video deck in order. I was able to try various functions in “Editing using a computer”, which made it possible to make detailed edits.
At that time, of course, I was also experimenting with chromakey synthesis.
At the time, I was shooting with a blue screen instead of a green screen, but I made a short film that combined images of people and miniature indoor sets.
However, the synthetic results were not satisfactory.
There was a blue edge along the outline of the person, and no matter how much I tried to fine-tune it, I could only get unnatural composite results.
This experience left me with the impression that chromakey compositing was unusable.
More than 10 years have passed since then, and around 2016, I happened to learn that it was possible to create natural chromakey compositing with just the basic functions of computer editing software, and I rushed to focus on using it. up to.
I regret that if I had realized earlier that I could use chromakey compositing, my creative activities would have proceeded more smoothly.
I’m really realizing that it’s no good to be unwilling to eat, and now I’m interested in a technology called “photogrammetry.”
Software to create 3D data from photos
Photogrammetry is a technology that creates 3D data based on multiple photographs.
Even without using a 3D scanner, it seems that fairly accurate 3D data can be created by processing photographs taken evenly around a three-dimensional object.
It seems that the 3D data is output with a 3D printer, but what I paid attention to is an example of application to recording terrain.
In the field of geology, this is used, and it seems that the appearance of cliffs is converted into three-dimensional data and used for research.
Many of the software used in academic fields can be used for free, and you can see many samples.
Of course, the accuracy is also quite high.
DIY movie application
As soon as I saw it, I had a hunch that it could be used to make movies using the Masuda Super Previs method.
In the Masuda Super Previs method, one image is
- Human image shot with green screen
- Separately shot background video
I divide it into and consider it.
You may think that it takes a lot of work to synthesize images one by one, but the time required for the most time-consuming “portrait shooting” can be easily reduced to about 1/5, so it has the advantage of being able to complete a work at an overwhelmingly low cost. There is the biggest feature.
After completing several works, I’ve learned that the biggest challenge to create a harmonious composite image is to “match the angles of the two images.”
In other words, when creating an image of “the face of a person in the forest”, if the face is taken from slightly below, the composition will not be noticeable unless the forest in the background image is also taken from slightly below at the same angle. It becomes unnatural.
Even if you think “it will be roughly right” at the time of shooting, you will end up in a situation where you can not combine the background well when editing.
Therefore, currently, we are dealing with it by “shooting background images at various heights as much as possible”.
Still, there is no end to saying, “It would have been best if I had taken a video with the camera pointing upwards a little more.”
How about using 3D data created by photogrammetry for this background image?
As a theory, it seems that background images with different angles can be written out quite freely. Isn’t it possible to prepare a background that looks like it was taken at almost the same angle as the person video?
For example, if you create 3D data for one room, all the backgrounds used in the scenes in that room can be exported from that data.
I think that the “stocking of background images” that I envision for mass production of movies will become even more efficient.
The result of trying the free software “Meshroom”
I looked it up and found that there are many photogrammetry software, some of which are free as mentioned above.
I tried it out right away.
I used free software called Meshroom. It’s very easy to use and you’ll get used to it in no time.
Creating 3D data requires a large number of photos at different angles, but I used a video camera to record still images at regular intervals from a series of videos taken while changing the angle.
If you can create data in this way, it will not take time to shoot.
However, the result was a failure.
The data was generated, but it was only distorted data that could not be used as a live-action background.
I do not know at the moment whether this is due to the quality of the captured image or the software.
However, if you look at the report article “I tried using Meshroom”, it is written that 3D data of similar quality was created and “It was easy!”, so it depends on the performance of the software However, I think that it is big.
This time I tried “Meshroom”, which seems to be the easiest to use, but considering that another software is used as a “field record” in the field of geology, the quality varies greatly depending on the software. expected.
In the past, I made a hasty conclusion that chromakey composition cannot be used, so I’m thinking of continuing to experiment with other software for photogrammetry.
If we can confirm a practical software, we will report it.
I’m glad if you can use it as a reference.
(This sentence was written by automatic translation)
