FPV映像から渓谷を測る
コジョリの下の渓谷をせき止めたら、どれだけの水が入るでしょうか。暇つぶしのような問いですが、写真測量の流れを最初から最後までたどる良い口実になります。映像 → カメラ姿勢 → 密な表面 → メートル → 数値、という流れです。二つのダムと水位を動かしてみてください。

地形は2 m間隔の標高グリッドで、体積は同じグリッド上の塗りつぶしで計算しています。どちらも5.7分の普通のFPV映像から作りました。以下はその作り方です。コード、撮影のメモ、このデモの単体版はリポジトリにあります。
フライト
- 機体: ZOHD Altus。翼幅980 mm、双発、V字尾翼の発泡スチロール製固定翼機です。
- オートパイロット: Matek H743 と ArduPlane 4.6。自動離陸のあと、全行程を FBWA(安定化つきの手動操縦)で飛びました。u-blox M10 のGPS受信機が二つ(各5 Hz)と気圧計があり、EKFが25 Hzで統合します。
- カメラ: DJI O4 Pro、4K。機首のチルト機構に載せてあり、飛行中に下へ向けられます。このフライトではチルトをほとんど使わなかったので、ほぼずっと前方やや下向きです。電子手ぶれ補正あり、ローリングシャッター、安定化ジンバルなし。測量用ではなくFPV用のカメラです。
- 場所: ジョージアのコジョリ南東の渓谷。離陸地点は海抜1123 mです。
- 数値: アーム状態で27.4分、飛行距離31 km、離陸地点から最大663 m上、対地速度の中央値19.6 m/s。
このフライトは地図作成のために計画したものではありません。平行なコースを並べた飛行経路も、真下を向いたカメラ(地図用の撮り方)も、座標の分かっている地上基準点もありません。
モデルの元になった五つのパスです。つなぎ目以外は編集していません。
テレメトリ
ArduPilot はSDカードにバイナリの DataFlash ログを書きます。pymavlink でメッセージを一つずつ読みます。使うのは GPS と GPA(測位と精度)、POS(EKFの位置)、ATT(姿勢)、ARM です。
解析の前に押さえておくべき点です。
- GPS。 二つの受信機は中央値で1.1 mずれています。二つ目のほうが衛星数が多く(26〜31)、水平精度の報告値は0.14 mで、オートパイロットが使っていたのもこちらです。
- 時計。 フライトコントローラーの時計は0.104 %進んでいて、一回の飛行で1.7秒になります。ログ時刻からGPS測位時刻への直線を当てはめるとこれが消え、残差は18 msです。
- 映像との同期。 カメラは ARM の指令で録画を始めるので、映像の時刻とログの時刻は原点が同じです。ただし録画開始の遅れがあります。この遅れは未知数のままにして、あとで求めました。
映像からカメラ姿勢へ
キーフレーム。 映像にはほとんど同じフレームが多すぎます。前に採用したフレームから画像が幅の2.5 %動いたら次のフレームを採用します(動きは疎なオプティカルフローで測ります)。およそ毎秒1枚になり、渓谷上の五つのパスから241枚を取り、幅1920 pxに縮小しました。
Structure from Motion(SfM。ソフトは COLMAP、インクリメンタル方式):
- 各フレームで SIFT 特徴を取り、すべてのフレームの組で対応づけます。
- 各組を幾何的に検証します。RANSAC で基本行列(essential matrix)を当てはめ、エピポーラ拘束 に反する対応を捨てます。
- 良い一組から始めて点を三角測量し、フレームを一枚ずつ加えます。新しいフレームの姿勢は、すでに見えている3D点から求めます(RANSAC内の PnP)。新しい点を三角測量し、これを繰り返します。
- 数フレームごとに**バンドル調整**が全体を一度に修正します。


二枚の異なるフレームで同じ点を対応づける方法
上のリストの手順1と2が答える問いは一つです。フレームAのどの点とフレームBのどの点が、地上の同じ場所なのか。そのために同じ画素を探すことはしません。画素は明るさを表す一つの数にすぎず、同じ値の画素はフレームに何千もあります。探すのは数千個の目立つ点で、その周りの小さな領域どうしを比べます。このアルゴリズムが SIFT(scale-invariant feature transform)です。三つのステップからなり、そのあとに四つ目の幾何的なステップが続きます。
以下のデモはすべて、このフライトの実際の二枚のフレームで動きます。二枚の間は5分、134 m離れています。同じ尾根の上を通る別々のパスで、カメラは55°回転しており、地面までは約850 mです。デモ用にフレームは幅960 pxに縮小し、レンズの歪みを補正してあります。
ステップ1. 検出器: どの点を選ぶか
何を解決するのか。 フレームAの点は、あとでフレームBの中から探し直すことになります。フレームBは別の距離、別の角度から撮られています。検出器はフレームを一枚ずつ見るだけで、もう一枚のことは何も知りません。ですから、同じ場所を写した別の写真でも自分がもう一度選ぶはずの場所を選ばなければなりません。ここから条件が三つ出てきます。
- 点の位置が一意に決まること。斑点や角(家、茂み、道の曲がり角)がそうです。平らな面は向きません(周りがどこも同じです)。まっすぐなエッジも向きません。エッジに沿って窓をずらしても、窓の中の絵が変わらないからです。
- 位置と一緒に大きさも求まること。同じ家でも300 mから見るのと900 mから見るのとでは占める画素数が違いますが、どちらのフレームでも同じ点が見つからなければなりません。
- センサーや圧縮のノイズが点を作らないこと。
検出器が答えるのは「どこにあって、どのくらいの大きさか」だけです。点を見分けられるようにするのはステップ2です。
ぼかしの積み重ね。 フレームをガウシアンフィルタで何度もぼかし、そのたびにぼかしを強くします。ぼかしの強さ の単位は画素です。 より細かい模様は消え、大きい模様は残ります。各レベルは前のレベルの 倍の強さなので、三レベルごとに が2倍になります。こうして同じフレームのコピーが積み重なります。一番下では個々の家が見え、一番上では斜面しか見えません。
隣り合うレベルの差。 各レベルから次のレベルを画素ごとに引きます。 です(difference of Gaussians、DoG)。引いたあとに残るものは次のとおりです。
- より細かい模様は、どちらのレベルでもすでに消えています。細かいノイズはこれでなくなります。
- なだらかな明るさの変化(雲の影、もや)は、どちらのレベルでも同じなので打ち消し合います。
- 残るのは、一つ目のぼかしではまだ残り、二つ目のぼかしでは消えたもの、つまり大きさが くらいの斑点です。
暗い背景の上の明るい斑点は正の差になり、明るい背景の上の暗い斑点は負の差になり、平らな場所はゼロになります。差の枚数はぼかしの枚数より一枚少なく、これも積み重ねになっています。層ごとに担当する斑点の大きさが違います。

試してみること:
- スライダーで積み重ね全体をたどります。最初のほうの差には個々の家や樹冠が見え、最後のほうには斜面全体しか見えません。
- 差の中の明るい斑点にカーソルを置きます。一つ目の数が二つ目より大きくなっています。平らな斜面では二つの数がほぼ等しく、差はゼロに近くなります。
- 行のグラフを見ます。元の明るさの細い線はノイズで細かく揺れ、ぼかした線はなめらかです。差がゼロからはっきり離れるのは、ちょうどよい大きさの斑点がある場所だけです。
26個のうちの一つ。 次に、差の積み重ねの中で極値を探します。層の各画素を26個の近傍と比べます。同じ層の周りの8個、下の層の9個、上の層の9個です。中心を除いた3×3×3の立方体です。値が26個すべてより大きいか、すべてより小さい画素が候補になります。
と の方向の極値は斑点の中心を意味します。層の方向の極値は、斑点の大きさがこの層の に最もよく合ったことを意味します。隣の層では応答が弱くなります。こうして点には 、、大きさ の三つの数が付きます。
二つのフィルタ。 候補は必要以上に多く、その一部は害になります。
一つ目はコントラストのしきい値です。何もない空や一様な斜面にも極値はありますが、それを作っているのはノイズです。別のフレームではノイズが違うので、そういう点は現れません。そこで、差の絶対値がしきい値より小さい候補は捨てます。COLMAP のしきい値は、明るさを0から1としたとき0.0067です。
二つ目はエッジの判定です。道路の縁や屋根の棟では差が大きく、コントラストのしきい値は通ってしまいます。しかし、こういう点が固定されているのは線を横切る方向だけです。線に沿った方向ではどこも同じに見えるので、別のフレームでは検出器が同じ線の別の場所に点を置きます。対応は見つかりますが、座標が間違っています。斑点とエッジを区別するために、その点で差の層の曲率を二つの方向について測ります。斑点はどちらの方向にも曲率が大きく、丘の形です。エッジは横切る方向に大きく、沿う方向にはほぼゼロで、尾根の形です。曲率の比 が10を超える点は捨てます。曲率そのものは計算しません。隣り合う画素の二階差分 、、 で足ります。次の条件を満たす点が残ります。
一つ目のフィルタは、別のフレームで再び現れない点を取り除きます。二つ目は、再び現れても場所がずれる点を取り除きます。

試してみること:
- 「キーポイント」を押します。三つの格子に27個の数があり、中央の数は黄色の枠で囲まれ、ほかのすべてより大きい(または小さい)値です。赤い枠はありません。
- 「極値でない」を押します。キーポイントの隣の画素です。値はほとんど同じですが、隣の画素のほうがゼロから遠く、その画素が赤い枠で囲まれます。
- 「弱い点」を押します。極値ですが、絶対値がしきい値より小さい点です。こういう点は平らな場所にあります。
- 「エッジ上」を押します。拡大図に見えるのは斑点ではなく帯です。そういう点がない層ではボタンが無効になります。
できあがるもの。 下のデモはすべてをまとめたものです。積み重ね、差、極値、二つのフィルタを一つの切り出しで見られます。

試してみること:
- を動かします。ぼかしが弱いと点は数百個で、個々の家や木です。強いと数個だけ残り、数十画素の斑点になります。家のまとまりや空き地です。
- 「エッジ上で捨てた点を表示」をオンにします。まっすぐなエッジ上にある極値が赤で表示されます。自然の地形では少なく、ここでは約5 %です。
- コントラストのしきい値を上げます。最も目立つ斑点だけが残ります。
三つのデモの検出器はどれも簡略版です。フレームを縮小せず、点の位置を1画素より細かく詰めることもしません。本物のSIFTは が2倍になるたびにフレームを半分に縮小します(これをオクターブと呼びます)。大きな画像を幅の広いフィルタでぼかさずに済ませるためです。
ステップ2. 記述子: 点の周りを数で書き表す
点の周りに正方形の窓を取ります。一辺は求めた大きさに比例し()、窓は点の近くで最も多い明るさの勾配方向に合わせて回転させます。窓を4×4のセルに分け、セルごとに勾配方向のヒストグラムを8個のビンで作ります。4·4·8 = 128個の数になります。このベクトルを正規化します。
それぞれの工夫が、一つの変化に対する強さを与えます。
- 窓の大きさを から決める: 対象までの距離
- 窓を回転させる: カメラのロール
- 明るさではなく勾配を使う: 照明
- 正規化: コントラスト
- セルごとのヒストグラム: 小さなずれと遠近による歪み

フレームAとBでは窓の角度も大きさも違います。回転させたあとは二つの窓がほぼ同じものを映し、セルの中の矢印(ヒストグラム)と下の棒もほぼ一致します。
ステップ3. 対応づけ
フレームAの各記述子について、フレームBで最も近い記述子を探します。近さの尺度は、128個の数のベクトルどうしの普通のユークリッド距離です。そのあとフィルタが二つあります。
- レシオテスト(Lowe のテスト)。最良の候補までの距離が、2番目の候補までの距離よりはっきり小さくなければなりません: 。二つの候補がほぼ同じなら繰り返し模様なので、どちらかを選ぶことはできません。
- 相互チェック。 Bの点のほうも、Aの同じ点を選ばなければなりません。

しきい値を1.0に近づけると、線は数倍に増え、増えた線はばらばらの向きに走ります。0.6では対応は少なくなりますが、ほとんどが全体の流れに沿います。
ステップ4. 幾何検証
記述子はフレーム内の点の位置を何も知りません。そのためステップ3のあとにも誤った対応が残ります。二枚のフレームで点の配置は同じにはなりません。近い点は遠い点より大きく動きますし(視差)、フレーム自体が回転していることもあります。同じなのは別のことです。正しい対応はすべて、一つのカメラの動きで説明できます。これがエピポーラ拘束 です。一枚目のフレームの点 に対して、行列 は二枚目のフレームに一本の直線を定め、その点の相手はこの直線上になければなりません。
この行列を見つけるのが RANSAC です。
- 最小限の個数の対応をランダムに選び、そこから行列を計算します。
- 残りの対応のうち、その行列と一致するものを数えます。つまり、自分の直線から許容誤差以内にあるものです。
- これを何度も繰り返し、一致する対応が最も多い行列を残します。一致しない対応は捨てます。

試行は何回必要でしょうか。正しい対応の割合を 、一回に選ぶ対応の数を とします。選んだ組がすべて正しい確率は です。確率 で少なくとも一組がそうなるために必要な試行回数は次のとおりです。
、、 なら32回ですが、 では1177回になります。ここから二つのことが分かります。レシオテストを RANSAC の前に置くのは を上げるためであり、一回に選ぶ対応の数はできるだけ少なくすべきです。
デモの は基礎行列(fundamental matrix)で、一回に8個の対応を選びます。画素のまま使え、カメラの校正は要りません。上のリストの基本行列 は、校正 が分かっているカメラに対する同じ拘束で、 です。 は5個の対応で求まり( なら1177回ではなく146回)、そこからカメラの回転と移動の向きが得られます。COLMAP はフレームの組ごとに三つのモデル、つまり 、、ホモグラフィ (平らなシーンや回転だけの動きの場合)を推定し、対応を最もよく説明するものを採用します。
このフライトの数値
COLMAP のデータベースから:
- 241枚、1枚あたりのキーポイントは中央値で8246個、合計180万個
- すべてのフレームをすべてのフレームと比べます。フレームの組は28 920です。同じ場所を通る別々のパスのつながりは、こうして見つかります
- 記述子による対応が見つかったのは21 623組、幾何検証を通ったのは15 880組(55 %)で、一組あたりの対応は中央値で248個
- 特徴抽出は8秒、全組の対応づけは RTX 4090 で2分足らず
- デモの二枚は、本番の処理では検証済みの対応が1919個あります。デモでは約100個です。フレームの幅が半分で、点も1枚あたり1万個ではなく1500個だからです
ライブラリに任せた部分と自分で書いた部分
パイプラインでは、ステップ1〜4は COLMAP の二つのコマンドです。
colmap feature_extractor --database_path database.db --image_path images \
--ImageReader.camera_model OPENCV --ImageReader.single_camera_per_folder 1 \
--ImageReader.camera_params "$FOCAL,$FOCAL,960,540,0,0,0,0" \
--SiftExtraction.use_gpu 1 --SiftExtraction.max_num_features 8192
colmap exhaustive_matcher --database_path database.db \
--SiftMatching.use_gpu 1 --SiftMatching.guided_matching 1
中で起きていること:
- 検出器と記述子: SiftGPU。GPU上で動きます。記述子は RootSIFT の形で保存されます。ベクトルを総和で正規化し、各要素の平方根を取ったものです。これで対応が安定します。
- 対応づけ: GPU上での記述子の総当たりです。レシオテストのしきい値は0.8で、相互チェックは有効です。
- 幾何検証: LO-RANSAC、許容誤差4 px、一致する対応が15個以上。
guided_matching: フレームの組の幾何が求まったあと、対応の探索をもう一度行います。今度はエピポーラ線に沿ってだけ探します。レシオテストで落ちた対応がこれで戻ります。そのため、検証済みの対応の合計(900万)は、記述子で見つかった対応の合計(660万)より多くなります。
同じ四つのステップは OpenCV なら15行ほどです。デモ用の点と記述子はこのコードで計算しました。
import cv2, numpy as np
sift = cv2.SIFT_create(nfeatures=1500, contrastThreshold=0.02)
kp_a, des_a = sift.detectAndCompute(gray_a, None) # ステップ1と2
kp_b, des_b = sift.detectAndCompute(gray_b, None)
bf = cv2.BFMatcher(cv2.NORM_L2) # ステップ3
two_best = bf.knnMatch(des_a, des_b, k=2)
back = bf.knnMatch(des_b, des_a, k=1)
good = [m for m, n in two_best
if m.distance < 0.8 * n.distance # レシオテスト
and back[m.trainIdx][0].trainIdx == m.queryIdx] # 相互チェック
pa = np.float32([kp_a[m.queryIdx].pt for m in good])
pb = np.float32([kp_b[m.trainIdx].pt for m in good])
F, inliers = cv2.findFundamentalMat(pa, pb, cv2.FM_RANSAC, 1.5, 0.999) # ステップ4
自分で書いたのはその周りの部分です。
- オプティカルフローによるキーフレームの選択:
select_keyframes.py。OpenCV のgoodFeaturesToTrackとcalcOpticalFlowPyrLKを使っています localize_pnp.py: 完成したモデルに対して、新しいフレームでステップ3と4を行います。最近傍探索、レシオテスト、そのあと RANSAC 内の PnP です- 検査と、SfM より後のすべて: 鏡像パスの検査、GPSへの位置合わせ、標高グリッド、体積
- このページのデモ: 検出器、最近傍探索、8点アルゴリズム、RANSAC。ライブラリなしの TypeScript です
SIFTがうまくいかない場面
- カメラに対する面の傾きが30〜40°より大きく変わる場合。窓が歪み、ヒストグラムが合わなくなります。レンズの軸まわりのフレームの回転は問題になりません。窓が一緒に回転するからです
- 繰り返し模様(窓、畑の畝)。こうした点はレシオテストが捨てます
- 模様のない面(水、雪、空)や反射。検出器が手がかりにできるものがありません
- 動きによるぶれ
このフライトで弱いのは樹冠と深い影です。現在の代替は、学習による検出器とマッチャーです。SuperPoint と LightGlue、LoFTR などがあります。そのあとの幾何検証は同じです。
バンドル調整がこの手法の中心です。すべてのカメラ姿勢 、共通の内部パラメータ と歪み、すべての3D点 を動かして、再投影誤差を最小にします。
は点 がフレーム で観測された位置、 はレンズモデルによる投影、 はロバスト損失(COLMAPの局所調整では soft L1)です。誤った対応が二乗ではなく限られた力でしか引っ張らないようにします。ソルバーは Ceres のレーベンバーグ・マーカート法です。速いのは問題の構造のおかげです。各残差は一つのカメラと一つの点にしか関係しないので、先に点を消去でき(シューア補行列)、カメラだけのずっと小さい系が残ります。
結果は、241枚すべてが一つのモデルに入り、点は137 000個、再投影誤差の中央値は0.75 pxです。カメラはチェスボードで校正していません。焦点距離(800.6 px)と放射歪み()はバンドル調整から得られ、同じカメラの以前のフライトの値と一致しました。
姿勢から表面へ
Multi-View Stereo。 COLMAPのPatchMatchは、各フレームの画素ごとに奥行きと表面の法線を推定します。小さなパッチを近くの10フレームと比べます(正規化相互相関)。良い推定は隣の画素に伝わり、ランダムに揺らされます。すべての奥行きを試すよりずっと安く済みます。二回目のパスで、近くのフレームと一致する奥行きだけを残します。
融合では241枚の奥行きマップを一つの点群にまとめ、複数の視点が確認した点だけを残します。800万点になりました。RTX 4090で89分かかり、処理全体の時間の大部分を占めます。
メートル: モデルをGPSに合わせる
カメラだけの再構成には縮尺も北も上もありません。相似変換の分だけ自由で、未知数は七つです。GPSがそれを決めます。各キーフレームには時刻があるので、GPSの位置があります。SfMは同じカメラにモデル単位の位置を与えます。梅山の閉形式解は、一方の点の集まりをもう一方に最もよく写す縮尺 、回転 、平行移動 を求めます。
はSfMのカメラ中心、 はGPSの位置、 は映像とログの時間差です。 を順に試して、最もよく合うものを採用しました。
- 時間差 1.15秒(カメラはアームから録画開始まで約1秒かかります)
- 縮尺 モデル単位あたり 162.5 m
- 残差 223台のカメラで 3.0 m(RMS)。パスごとに別々に合わせると0.7〜1.5 mで、四つとも縮尺は0.1 %以内で一致します。
1 mと3 mの差は、SfMモデル内部のパス間のドリフトです。正しい直し方は、あとから位置合わせをするのではなく、GPSの位置を追加の残差としてバンドル調整に入れることです。
機体は20 m/sで飛ぶので、0.1秒の時刻誤差は2 mの位置誤差になります。時計の補正と時間差の探索に意味があったのはそのためです。
鏡像として再構成されたパス
GPSへの当てはめで、再投影誤差では見えない誤りが見つかりました。高い高度の一つのパス(18枚)が、位置合わせのあと実際の航跡より1 km上にありました。再投影誤差は1.3 pxで普通でした。
遠くてほぼ平らなシーンでは、カメラの動きに二つの解があり、互いに鏡像です。あるパスがモデルの残りと共有する点が少ないと、再構成が誤った解を選ぶことがあります。そのパスだけが見る点は完全に再投影されます。簡単な検査で見つかります。下向きのカメラでは、画像の下側が上側より近いはずです。このパスでは18枚中18枚で順序が逆でした。このパスは外しました。
再投影誤差が小さいことは、モデルが自分自身と矛盾しないことを示すだけです。モデルが正しいことは示しません。それを示すのは独立したデータです。ここではGPSと、航跡に沿った SRTM 標高との粗い比較です(モデルは中央値で9 m高く、この地形でのSRTM自体の誤差の範囲内です)。
点群から体積へ
- 標高グリッド。 点群を回転・拡大して東・北・上のメートルにし、2 mのセルごとに点の高さの中央値を取ります。モデル範囲の78 %に計測値があります。欠けた部分(深い影、模様のない斜面)は補間して印をつけます。
- 軸。 谷底の線は、その場所の谷底からの高さをコストとしたときの、グリッド上の最小コスト経路です。なめらかにしたものが各ダムの位置と向きを決めます。ダムは常に渓谷に直角です。
- 体積。 水は、水位より低く、二つのダムの間の谷底につながっているすべてのセルです。塗りつぶしなので、尾根の向こうの支谷は乾いたままです。体積は です。
水がモデルの端に届いたら、ラボは数値を出さずにそのことを知らせます。
この数値はどこまで信用できるか
- 縮尺の誤差は約0.2 %で、体積では約0.6 %です。
- 形の誤差のほうが大きいです。パス間のドリフトが3 mあり、地上でおよそ0.5 m/pxの映像から2 mのグリッドを作っています。
- 樹木。 これは表面のモデルです。谷底が森の場所では「地面」は樹冠になり、本当の体積は少し大きくなります。
- 穴。 ラボは、水のうち補間した地形の上にある割合を表示します。小さく保ってください。
本当の測量なら、下向きのカメラでグリッドを飛び、地上基準点か RTK を加え、GPSをバンドル調整に入れます。週末の発泡スチロールの飛行機としては、150万 m³の貯水池を数パーセントの精度で測れたのは悪くない結果です。
ほかの使い道
渓谷の貯水池はおもちゃの問題ですが、同じ流れ(姿勢、密な表面、メートル、表面の差)は測量の日常業務です。
- 資材の山。 砂、砂利、土がどれだけ積んであるかを毎週測ります。
- 採石場と鉱山。 今月どれだけ採掘したか。二回の測量と一回の引き算です。
- 建設。 出来形の表面を設計モデルと比べると、どこを削りどこを盛るかが分かります。
- 地すべりと洪水。 前後のモデルから、取り除く土砂の体積が分かります。
- 林業。 表面から地面を引くと樹冠高モデルになります。樹高と材積が分かります。
- 海岸と川岸。 二つの日付の間にどれだけ地面が失われたか。
- ドローンが行けない場所。 同じ幾何を衛星画像に使えば、広い範囲、立入禁止区域、被災地を扱えます。
- 現場の巡回。 360度カメラの画像をドローンのモデルの中に配置します。
どの場合も、3D再構成は仕事の半分にすぎません。残りの半分は誤差です。誤差の原因を見つけ、それぞれが最終的な数値にどれだけ影響するかを示すことは、別の難しい問題です。