latent state // журнал
18 ноября 2026 // CV · ROBOTICS // 21 мин

Как измерить каньон по FPV-видео

Сколько воды поместится в каньоне под Коджори, если его перегородить? Вопрос праздный, но это хороший повод пройти всю цепочку фотограмметрии от начала до конца: видео → позы камеры → плотная поверхность → метры → число. Подвигайте две плотины и уровень воды:

3D-модель каньона Коджори, затопленного между двумя плотинами
рис. 1 — модель каньона, затопленная между двумя плотинами; живой версии нужны JavaScript и WebGL

Рельеф здесь - сетка высот с шагом 2 м, объём считается заливкой по той же сетке, и всё это получено из 5,7 минуты обычного FPV-видео. Дальше о том, как. Код, заметки о съёмке и отдельная копия этого демо лежат в репозитории.

Полёт

  • Самолёт: ZOHD Altus, двухмоторное крыло из пенопласта с V-образным хвостом, размах 980 мм.
  • Автопилот: Matek H743 с ArduPlane 4.6. Автоматический взлёт, затем весь полёт в FBWA (ручное управление со стабилизацией). Два GPS-приёмника u-blox M10 на 5 Гц, барометр и EKF, который объединяет их на 25 Гц.
  • Камера: DJI O4 Pro, 4K, стоит в носу на механизме наклона: в полёте её можно отклонять вниз. В этом полёте я пользовался наклоном редко, так что почти всё время она смотрит вперёд и немного вниз. Электронная стабилизация включена, rolling shutter, стабилизирующего подвеса нет. Это FPV-камера, а не камера для съёмки местности.
  • Место: каньон к юго-востоку от Коджори, Грузия; старт на высоте 1123 м над уровнем моря.
  • Цифры: 27,4 минуты с момента арминга, 31 км пути, до 663 м над точкой старта, медианная путевая скорость 19,6 м/с.

Полёт никак не планировался под картографию: ни маршрута параллельными галсами, ни камеры, которая смотрит отвесно вниз (так снимают для карт), ни опорных точек на земле с известными координатами.

Пять проходов, из которых собрана модель, без монтажа, кроме склеек:

рис. 2 — исходное видео, 5:41 в 4K. Смотреть на YouTube ⇗

Телеметрия

ArduPilot пишет на SD-карту двоичный лог DataFlash. pymavlink читает его сообщение за сообщением; полезны GPS и GPA (решение и точность), POS (положение по EKF), ATT (ориентация) и ARM.

Детали, которые важно отметить перед разбором:

  • GPS. Два приёмника расходятся на 1,1 м (медиана). У второго было больше спутников (26–31), заявленная горизонтальная точность 0,14 м, и именно им пользовался автопилот.
  • Часы. Часы полётного контроллера спешили на 0,104 %: 1,7 с за полёт. Прямая, подогнанная от времени лога к эпохам GPS-решений, убирает это с остатком 18 мс.
  • Синхронизация с видео. Камера начинает запись по команде ARM, поэтому у времени видео и времени лога общий ноль, с точностью до задержки старта записи. Эту задержку я оставил неизвестной и нашёл позже.

От видео к позам камеры

Ключевые кадры. В видео слишком много почти одинаковых кадров. Я беру кадр, когда изображение сдвинулось на 2,5 % ширины относительно предыдущего взятого (сдвиг измеряется разреженным оптическим потоком). Получается примерно кадр в секунду: 241 кадр из пяти проходов над каньоном, уменьшенный до 1920 px.

Structure from motion (SfM, восстановление структуры по движению; программа COLMAP, инкрементальный режим):

  1. SIFT-признаки в каждом кадре, сопоставление между всеми парами кадров.
  2. Каждая пара проверяется геометрически: RANSAC подбирает существенную матрицу и отбрасывает совпадения, которые нарушают эпиполярное ограничение x2⊤E x1=0x_2^\top E\, x_1 = 0.
  3. Начинаем с одной хорошей пары, триангулируем её точки, затем добавляем кадры по одному. Поза нового кадра находится по 3D-точкам, которые он уже видит (PnP внутри RANSAC); новые точки триангулируются; и так далее.
  4. Каждые несколько кадров bundle adjustment (блочное уравнивание) уточняет всё сразу.
Три шага инкрементального SfM: первая пара кадров, поза нового кадра, новые точки
рис. 3 — пункт 3 списка по частям, вид сверху: модель растёт по одному кадру
Три шага инкрементального SfM: первая пара кадров, поза нового кадра, новые точки
рис. 3 — пункт 3 списка по частям, вид сверху: модель растёт по одному кадру
Как сопоставить одну и ту же точку на двух разных кадрах

Пункты 1 и 2 списка выше отвечают на один вопрос: какая точка кадра A и какая точка кадра B - это одно и то же место на земле. Одинаковые пиксели для этого не ищут: пиксель - это одно число яркости, и таких в кадре тысячи. Ищут несколько тысяч приметных точек и сравнивают небольшие окрестности вокруг них. Алгоритм называется SIFT (scale-invariant feature transform). В нём три шага, а после него идёт четвёртый, геометрический.

Все демо ниже работают на двух настоящих кадрах этого полёта. Их разделяют 5 минут и 134 метра: это разные проходы над одним хребтом, камера между ними повёрнута на 55°, до земли около 850 м. Для демо кадры уменьшены до 960 px, дисторсия объектива исправлена.

Шаг 1. Детектор: какие точки выбрать

Какую задачу он решает. Точку из кадра A потом придётся найти в кадре B, снятом с другого расстояния и под другим углом. Детектор смотрит на каждый кадр отдельно и про второй кадр ничего не знает. Значит, он должен выбирать такие места, которые он сам выберет снова на любом другом снимке той же местности. Отсюда три требования:

  • положение точки определяется однозначно. Подходят пятна и углы (дом, куст, поворот тропы). Не подходят ровная поверхность (окрестность везде одинаковая) и прямой край: вдоль него окно можно сдвинуть, и картинка в нём не изменится;
  • вместе с положением находится размер. Один и тот же дом с 300 и с 900 метров занимает разное число пикселей, а точка на обоих кадрах должна найтись одна и та же;
  • шум матрицы и сжатия точек не создаёт.

Детектор отвечает только на вопрос «где и какого размера». Узнаваемой точку делает шаг 2.

Стопка размытий. Берём кадр и размываем его гауссовым фильтром несколько раз, каждый раз сильнее. Сила размытия σ\sigma измеряется в пикселях: детали мельче σ\sigma исчезают, крупнее остаются. Каждый следующий уровень сильнее предыдущего в 21/3≈1,262^{1/3} \approx 1{,}26 раза, то есть через три уровня σ\sigma удваивается. Получается стопка копий одного кадра: в нижней видны отдельные дома, в верхней только склоны.

Разность соседних уровней. Из каждого уровня попиксельно вычитаем следующий: Dk=Gk−Gk+1D_k = G_k - G_{k+1} (difference of Gaussians, DoG). Что остаётся после вычитания:

  • детали мельче σk\sigma_k стёрты уже в обоих уровнях. Так уходит мелкий шум;
  • плавные перепады яркости (тень облака, дымка) в обоих уровнях одинаковы и сокращаются;
  • остаётся то, что первое размытие ещё сохранило, а второе уже стёрло: пятна размером около σk\sigma_k.

Светлое пятно на тёмном фоне даёт положительную разность, тёмное на светлом отрицательную, ровное место даёт ноль. Разностей на одну меньше, чем размытий, и они тоже лежат стопкой: каждый слой отвечает за свой размер пятен.

Сверху четыре уровня размытия одного фрагмента кадра, снизу разности соседних уровней
рис. 4 — шаг 1: четыре уровня размытия из тринадцати (сверху) и разности соседних уровней (снизу); живой версии нужен JavaScript

Что попробовать:

  • пройдите ползунком всю стопку. В первых разностях видны отдельные дома и кроны, в последних только целые склоны;
  • наведите на светлое пятно в разности: первое число больше второго. На ровном склоне оба числа почти равны, и разность близка к нулю;
  • посмотрите на график строки. Тонкая линия исходной яркости дрожит от шума, размытые идут плавно, а разность заметно отходит от нуля только там, где есть пятно подходящего размера.

Один из 26. Теперь в стопке разностей ищем экстремумы. Каждый пиксель слоя сравнивается с 26 соседями: восемь вокруг него в своём слое, девять в слое ниже и девять в слое выше. Это кубик 3×3×3 без центра. Пиксель становится кандидатом, если его значение больше всех 26 или меньше всех 26.

Экстремум по xx и yy означает центр пятна. Экстремум по слою означает, что размер пятна лучше всего совпал с σ\sigma именно этого слоя: в соседних слоях отклик слабее. Так у точки появляются три числа: xx, yy и размер σ\sigma.

Два фильтра. Кандидатов получается больше, чем нужно, и часть из них вредна.

Первый фильтр - порог контраста. На ровном небе или однородном склоне экстремумы тоже есть, только создаёт их шум. В другом кадре шум другой, и такая точка там не появится. Поэтому кандидат отбрасывается, если модуль разности в нём меньше порога. В COLMAP порог равен 0,0067 при яркости от 0 до 1.

Второй фильтр - проверка на край. На кромке дороги или гребне крыши разность большая, и порог контраста такую точку пропустит. Но закреплена она только поперёк линии. Вдоль линии все места выглядят одинаково, и в другом кадре детектор поставит точку в другом месте той же линии: совпадение найдётся, а координата будет неверной. Чтобы отличить пятно от края, в точке измеряют кривизну разностного слоя в двух направлениях. У пятна она большая в обоих, это холм. У края она большая поперёк и почти нулевая вдоль, это гребень. Точка отбрасывается, если отношение кривизн rr больше 10. Сами кривизны для этого не вычисляют, хватает вторых разностей соседних пикселей DxxD_{xx}, DyyD_{yy}, DxyD_{xy}. Точка остаётся, если

(Dxx+Dyy)2DxxDyy−Dxy2<(r+1)2r=12,1при r=10.\frac{(D_{xx} + D_{yy})^2}{D_{xx} D_{yy} - D_{xy}^2} < \frac{(r + 1)^2}{r} = 12{,}1 \quad \text{при } r = 10.

Первый фильтр убирает точки, которые не повторятся в другом кадре. Второй убирает точки, которые повторятся не в том месте.

Слой разности с отмеченными экстремумами: жёлтые приняты, красные лежат на крае, белые слабее порога
рис. 5 — шаг 1: экстремумы одного слоя разности среди 26 соседей. Жёлтые приняты, красные лежат на крае, белые слабее порога контраста; живой версии нужен JavaScript

Что попробовать:

  • нажмите «ключевая». В трёх сетках 27 чисел, центральное обведено жёлтым и больше (или меньше) всех остальных. Красных рамок нет;
  • нажмите «не экстремум». Это пиксель рядом с ключевой точкой: значение у него почти такое же, но у соседа оно дальше от нуля, и сосед обведён красным;
  • нажмите «слабая». Экстремум есть, но его значение по модулю ниже порога. Такие точки лежат на ровных местах;
  • нажмите «на крае». Под лупой видна полоса, а не пятно. В слоях, где таких точек нет, кнопка неактивна.

Что получается. Демо ниже собирает всё вместе: стопка, разность, экстремумы и оба фильтра на одном фрагменте кадра.

Фрагмент кадра с ключевыми точками: радиус круга равен размеру пятна
рис. 6 — шаг 1: ключевые точки на фрагменте кадра, радиус круга равен размеру пятна; живой версии нужен JavaScript

Что попробовать:

  • подвигайте σ\sigma: при слабом размытии точек сотни, это отдельные дома и деревья. При сильном остаются единицы, это пятна в десятки пикселей: группа домов, поляна;
  • включите «показать отброшенные на краях»: красным отмечены экстремумы, которые лежат на прямом крае. На природном рельефе таких немного, здесь около 5 %;
  • поднимите порог контраста: останутся только самые заметные пятна.

Детектор во всех трёх демо упрощён: кадр не уменьшается, и положение точки не уточняется до долей пикселя. Настоящий SIFT после каждого удвоения σ\sigma уменьшает кадр вдвое (это называется октавой), чтобы не размывать большое изображение широким фильтром.

Шаг 2. Дескриптор: как записать окрестность точки числами

Вокруг точки берётся квадратное окно. Его сторона пропорциональна найденному размеру (12σ12\sigma), и оно повёрнуто по преобладающему направлению градиента яркости рядом с точкой. Окно делится на 4×4 клетки, и в каждой считается гистограмма направлений градиента из 8 корзин. Получается 4·4·8 = 128 чисел. Вектор нормируется.

Каждое решение даёт устойчивость к чему-то одному:

  • размер окна от σ\sigma - к расстоянию до объекта;
  • поворот окна - к крену камеры;
  • градиенты вместо яркости - к освещению;
  • нормировка - к контрасту;
  • гистограммы по клеткам - к небольшому сдвигу и перспективному искажению.
Одна и та же точка в двух кадрах: окна до и после поворота и 128 чисел двух дескрипторов
рис. 7 — шаг 2: одна точка в кадрах A и B. Окна стоят под разными углами, после поворота они почти одинаковы, как и 128 чисел; живой версии нужен JavaScript

В кадрах A и B окно стоит под разным углом и имеет разный размер. После поворота оба окна показывают почти одно и то же, а лучи в клетках (гистограммы) и столбики внизу почти совпадают.

Шаг 3. Сопоставление

Для каждого дескриптора из кадра A ищется ближайший в кадре B. Мера близости - обычное евклидово расстояние между векторами из 128 чисел. Затем два фильтра:

  • Ratio test (тест Лоу). Расстояние до лучшего кандидата должно быть заметно меньше, чем до второго: d1/d2<0,8d_1 / d_2 < 0{,}8. Если два кандидата почти одинаковы, это повторяющаяся текстура, и выбрать между ними нельзя.
  • Взаимная проверка. Точка из B тоже должна выбрать ту же точку из A.
Два кадра один над другим, совпавшие точки соединены линиями
рис. 8 — шаг 3: пары точек после ratio test и взаимной проверки; живой версии нужен JavaScript

Сдвиньте порог к 1,0: линий становится в несколько раз больше, и новые идут вразнобой. При 0,6 пар мало, но почти все лежат в общем потоке.

Шаг 4. Геометрическая проверка

Дескриптор ничего не знает о положении точки в кадре, поэтому после шага 3 часть пар всё ещё ложная. Расположение точек на двух кадрах не одинаковое: ближние смещаются сильнее дальних (параллакс), и сам кадр может быть повёрнут. Одинаково другое: все верные пары объясняются одним движением камеры. Это эпиполярное ограничение x2⊤F x1=0x_2^\top F\, x_1 = 0: для точки x1x_1 первого кадра матрица FF задаёт во втором кадре прямую, и пара этой точки обязана лежать на ней.

Матрицу находит RANSAC:

  1. Взять случайный набор пар минимального размера и вычислить по нему матрицу.
  2. Посчитать, сколько остальных пар с ней согласны, то есть лежат к своей прямой ближе допуска.
  3. Повторить много раз и оставить матрицу с наибольшим числом согласных пар. Несогласные пары выбросить.
Два кадра один над другим: согласованные пары зелёные, отброшенные красные
рис. 9 — шаг 4: пары, согласованные с одним движением камеры (зелёные), и отброшенные (красные); живой версии нужен JavaScript

Сколько нужно попыток? Пусть доля верных пар равна ww, а в наборе ss пар. Набор целиком верный с вероятностью wsw^s. Чтобы с вероятностью pp хотя бы один набор оказался таким, нужно

N=log⁡(1−p)log⁡(1−ws)N = \frac{\log(1 - p)}{\log(1 - w^s)}

попыток. При w=0,78w = 0{,}78, s=8s = 8 и p=0,99p = 0{,}99 это 32 попытки, а при w=0,5w = 0{,}5 уже 1177. Отсюда два вывода: ratio test стоит перед RANSAC, потому что он поднимает ww, а набор должен быть как можно меньше.

В демо FF - фундаментальная матрица, и набор состоит из 8 пар. Она работает прямо в пикселях, калибровка камеры ей не нужна. Существенная матрица EE из списка выше - то же ограничение для камеры с известной калибровкой KK: E=K⊤FKE = K^\top F K. Ей хватает 5 пар (при w=0,5w = 0{,}5 это 146 попыток вместо 1177), и из неё получаются поворот камеры и направление её сдвига. COLMAP оценивает для каждой пары кадров три модели: EE, FF и гомографию HH (для плоской сцены или чистого поворота) - и берёт ту, которая лучше объясняет совпадения.

В цифрах этого полёта

Из базы данных COLMAP:

  • 241 кадр, медиана 8246 ключевых точек на кадр, всего 1,8 млн;
  • каждый кадр сравнивается с каждым: 28 920 пар кадров. Так находятся связи между разными проходами над одним местом;
  • совпадения по дескрипторам нашлись в 21 623 парах кадров, геометрическую проверку прошли 15 880 (55 %), медиана 248 совпадений на пару;
  • извлечение признаков заняло 8 секунд, сопоставление всех пар - меньше двух минут на RTX 4090;
  • у пары кадров из демо в настоящем прогоне 1919 подтверждённых совпадений. В демо их около ста: кадры вдвое меньше, и точек 1500 на кадр вместо десяти тысяч.
Что взято из библиотек, а что написано руками

В конвейере шаги 1–4 - это две команды COLMAP:

colmap feature_extractor --database_path database.db --image_path images \
  --ImageReader.camera_model OPENCV --ImageReader.single_camera_per_folder 1 \
  --ImageReader.camera_params "$FOCAL,$FOCAL,960,540,0,0,0,0" \
  --SiftExtraction.use_gpu 1 --SiftExtraction.max_num_features 8192

colmap exhaustive_matcher --database_path database.db \
  --SiftMatching.use_gpu 1 --SiftMatching.guided_matching 1

Что происходит внутри:

  • Детектор и дескриптор - SiftGPU, на видеокарте. Дескрипторы хранятся в варианте RootSIFT: вектор нормируется по сумме, и из каждого числа берётся корень. Совпадения от этого надёжнее.
  • Сопоставление - перебор всех пар дескрипторов на видеокарте. Порог ratio test 0,8, взаимная проверка включена.
  • Геометрическая проверка - LO-RANSAC, допуск 4 px, минимум 15 согласных пар.
  • guided_matching - когда геометрия пары кадров найдена, поиск совпадений повторяется, но уже только вдоль эпиполярных прямых. Так возвращаются пары, которые не прошли ratio test. Поэтому подтверждённых совпадений в сумме больше (9,0 млн), чем найденных по дескрипторам (6,6 млн).

Те же четыре шага на OpenCV занимают полтора десятка строк. Так посчитаны точки и дескрипторы для демо:

import cv2, numpy as np

sift = cv2.SIFT_create(nfeatures=1500, contrastThreshold=0.02)
kp_a, des_a = sift.detectAndCompute(gray_a, None)        # шаги 1 и 2
kp_b, des_b = sift.detectAndCompute(gray_b, None)

bf = cv2.BFMatcher(cv2.NORM_L2)                          # шаг 3
two_best = bf.knnMatch(des_a, des_b, k=2)
back = bf.knnMatch(des_b, des_a, k=1)
good = [m for m, n in two_best
        if m.distance < 0.8 * n.distance                 # ratio test
        and back[m.trainIdx][0].trainIdx == m.queryIdx]  # взаимная проверка

pa = np.float32([kp_a[m.queryIdx].pt for m in good])
pb = np.float32([kp_b[m.trainIdx].pt for m in good])
F, inliers = cv2.findFundamentalMat(pa, pb, cv2.FM_RANSAC, 1.5, 0.999)  # шаг 4

Руками написано то, что вокруг:

  • отбор ключевых кадров по оптическому потоку: select_keyframes.py, из OpenCV взяты goodFeaturesToTrack и calcOpticalFlowPyrLK;
  • localize_pnp.py: шаги 3 и 4 для нового кадра против готовой модели. Поиск соседей, ratio test, затем PnP внутри RANSAC;
  • проверки и всё после SfM: тест на зеркальный проход, привязка к GPS, сетка высот, объём;
  • демо на этой странице: детектор, поиск соседей, 8-точечный алгоритм и RANSAC на TypeScript без библиотек.
Где SIFT ломается
  • наклон поверхности к камере меняется больше чем на 30–40°: окно искажается, и гистограммы перестают совпадать. Поворот кадра вокруг оси объектива не мешает, окно поворачивается вместе с ним;
  • повторяющаяся текстура (окна, грядки): такие точки отбрасывает ratio test;
  • поверхность без текстуры (вода, снег, небо) и блики: детектору не за что зацепиться;
  • смаз от движения.

В этом полёте слабые места - кроны деревьев и глубокая тень. Современная замена - обученные детекторы и сопоставители: SuperPoint с LightGlue, LoFTR. Геометрическая проверка после них та же.

Bundle adjustment - ядро метода. Он двигает все позы камер (Ri,ti)(R_i, t_i), общие внутренние параметры KK с дисторсией и все 3D-точки XjX_j так, чтобы ошибка репроекции была минимальной:

min⁡Ri, ti, K, Xj ∑i,jρ ⁣(∥π ⁣(K, RiXj+ti)−xij∥2)\min_{R_i,\,t_i,\,K,\,X_j}\ \sum_{i,j} \rho\!\left(\norm{\pi\!\left(K,\ R_i X_j + t_i\right) - x_{ij}}^2\right)

Здесь xijx_{ij} - место, где точка jj наблюдалась в кадре ii, π\pi проецирует через модель объектива, а ρ\rho - робастная функция потерь (soft L1 в локальных уточнениях COLMAP), чтобы ошибочное совпадение тянуло с ограниченной силой, а не с квадратичной. Решатель - Левенберг–Марквардт в Ceres. Быстрым его делает только структура задачи: каждая невязка касается одной камеры и одной точки, поэтому точки можно исключить первыми (дополнение Шура) и остаётся гораздо меньшая система только по камерам.

Результат: все 241 кадр в одной модели, 137 000 точек, медианная ошибка репроекции 0,75 px. Камера не калибровалась по шахматной доске: фокусное расстояние (800,6 px) и радиальная дисторсия (k1=−0.114k_1 = -0.114) получены из bundle adjustment и совпадают с тем, что дал более ранний полёт с той же камерой.

От поз к поверхности

Multi-view stereo. Для каждого кадра PatchMatch из COLMAP оценивает глубину и нормаль поверхности в каждом пикселе, сравнивая небольшой фрагмент с десятью соседними кадрами (нормированная кросс-корреляция). Удачные гипотезы распространяются на соседние пиксели и случайно возмущаются, и это намного дешевле, чем перебирать все глубины. Второй проход оставляет только те глубины, с которыми согласны соседние кадры.

Слияние объединяет 241 карту глубины в одно облако и оставляет точку, только если её подтверждают несколько видов: 8,0 млн точек. Это заняло 89 минут на RTX 4090, большую часть времени всего конвейера.

Метры: привязка модели к GPS

У реконструкции по одной камере нет масштаба, севера и верха: она верна с точностью до преобразования подобия, это семь неизвестных. GPS их убирает. У каждого ключевого кадра есть время, значит, есть и положение по GPS; SfM даёт той же камере положение в единицах модели. Решение Умеямы в замкнутой форме находит масштаб ss, поворот RR и сдвиг tt, которые лучше всего переводят один набор точек в другой:

min⁡s, R, t ∑i∥sR ci+t−gi(τ)∥2\min_{s,\,R,\,t}\ \sum_i \norm{s R\, c_i + t - g_i(\tau)}^2

где cic_i - центры камер из SfM, gig_i - положения по GPS, а τ\tau - задержка между видео и логом. Я перебираю τ\tau и беру лучшую подгонку:

  • задержка 1,15 с (камере нужно около секунды, чтобы начать запись после арминга);
  • масштаб 162,5 м на единицу модели;
  • невязка 3,0 м (СКО) по 223 камерам. Если подгонять каждый проход отдельно, он сходится до 0,7–1,5 м, и все четыре дают один и тот же масштаб с точностью 0,1 %.

Разница между 1 м и 3 м - это дрейф между проходами внутри модели SfM. Правильно было бы не выравнивать после, а добавить положения по GPS в bundle adjustment как дополнительные невязки.

Самолёт летит со скоростью 20 м/с, поэтому ошибка времени в 0,1 с - это 2 м ошибки положения. Вот почему стоило исправлять часы и искать задержку.

Проход, который собрался зеркально

Подгонка к GPS показала ошибку, которую ошибка репроекции показать не могла. Один высокий проход (18 кадров) после выравнивания оказался на километр выше настоящего трека. При этом ошибка репроекции у него была обычной: 1,3 px.

У далёкой, почти плоской сцены есть два допустимых решения для движения камеры, зеркальных друг другу. Если у прохода мало общих точек с остальной моделью, реконструкция может выбрать неверное, а его точки, которые видит только этот проход, репроецируются идеально. Находит это простой тест: у камеры, наклонённой вниз, низ кадра должен быть ближе верха. В том проходе порядок был перевёрнут в 18 кадрах из 18. Я его выбросил.

Низкая ошибка репроекции говорит, что модель согласована сама с собой. Она не говорит, что модель верна. Это говорят независимые данные: здесь GPS и грубая проверка по высотам SRTM вдоль трека (модель в медиане на 9 м выше, это в пределах собственной ошибки SRTM на таком рельефе).

От облака точек к объёму

  1. Сетка высот. Облако поворачивается и масштабируется в метры (восток, север, верх), затем в каждой ячейке 2 м берётся медиана высот точек. Измерения есть на 78 % площади модели; пропуски (глубокая тень, склоны без текстуры) интерполированы и помечены.
  2. Ось. Линия дна каньона - это самый дешёвый путь по сетке, если ценой считать высоту над локальным дном. После сглаживания она задаёт каждой плотине положение и направление: всегда поперёк каньона.
  3. Объём. Вода - это все ячейки ниже уровня, связанные с дном между двумя плотинами. Это заливка, поэтому боковая долина за хребтом остаётся сухой. Тогда V=∑вода(hводы−z)⋅22 м3V = \sum_{\text{вода}} (h_\text{воды} - z)\cdot 2^2\ \text{м}^3.

Если вода доходит до края модели, лаборатория сообщает об этом и не показывает число.

Насколько можно верить числу

  • Масштаб верен примерно до 0,2 %, то есть около 0,6 % по объёму.
  • Форма даёт ошибку больше: 3 м дрейфа между проходами и сетка 2 м по видео, где на землю приходится примерно 0,5 м на пиксель.
  • Деревья. Это модель поверхности. Там, где дно заросло лесом, «землёй» считаются кроны, и настоящий объём немного больше.
  • Дыры. Лаборатория показывает, какая доля воды лежит над интерполированным рельефом. Держите её маленькой.

Для настоящей съёмки нужно летать по сетке с камерой вниз, добавить опорные точки на земле или RTK и включить GPS в bundle adjustment. Для пенопластового самолёта в выходной водохранилище в 1,5 млн м³, измеренное с точностью до нескольких процентов, - неплохой результат.

Где ещё это применяется

Водохранилище в каньоне - игрушечный вопрос, но та же цепочка (позы, плотная поверхность, метры, разность поверхностей) - это повседневная работа в съёмке местности:

  • Склады сыпучих материалов. Сколько песка, гравия или грунта лежит в куче, с измерением каждую неделю.
  • Карьеры и шахты. Сколько породы вынули за месяц: две съёмки, одно вычитание.
  • Стройка. Фактическая поверхность против проектной модели показывает, где срезать и где подсыпать.
  • Оползни и наводнения. Модели до и после дают объём завалов, который нужно убрать.
  • Лес. Поверхность минус голая земля - это модель высоты крон: высота деревьев и запас древесины.
  • Берега морей и рек. Сколько грунта потеряно между двумя датами.
  • Места, куда дрон не долетит. Та же геометрия по спутниковым снимкам покрывает большие площади, закрытые зоны и районы бедствий.
  • Обход объекта. Снимки 360°-камеры, встроенные в модель с дрона.

Во всех этих задачах 3D-реконструкция - только полдела. Вторая половина - погрешности: найти их источники и показать, сколько каждый вносит в итоговое число. Это отдельная и непростая задача.