# Как измерить каньон по FPV-видео

> Самолёт из пенопласта, экшн-камера и лог полёта: structure from motion и multi-view stereo превращают FPV-видео каньона у Коджори в метрическую модель рельефа, GPS даёт ей масштаб, а в живой 3D-лаборатории каньон можно затопить между двумя плотинами и узнать объём.

- Published: 2026-11-18
- URL: https://latentstate.dev/ru/posts/canyon-volume-from-fpv-video/
- Topics: Computer Vision, Robotics
- Code: https://github.com/format37/fpv-photogrammetry
- Data: https://huggingface.co/datasets/format37/kojori-canyon-fpv
- Video: https://youtu.be/s8RxP2BK_d0

---

Сколько воды поместится в каньоне под Коджори, если его перегородить? Вопрос праздный, но это хороший повод пройти всю цепочку фотограмметрии от начала до конца: видео → позы камеры → плотная поверхность → метры → число. Подвигайте две плотины и уровень воды:

> Interactive demo (needs a browser): https://latentstate.dev/ru/posts/canyon-volume-from-fpv-video/

![3D-модель каньона Коджори, затопленного между двумя плотинами](https://latentstate.dev/_astro/fig-lab.Dzu62Tz3.jpg "рис. 1 — модель каньона, затопленная между двумя плотинами; живой версии нужны JavaScript и WebGL")

Рельеф здесь - сетка высот с шагом 2 м, объём считается заливкой по той же сетке, и всё это получено из 5,7 минуты обычного FPV-видео. Дальше о том, как. Код, заметки о съёмке и отдельная копия этого демо лежат в [репозитории](https://github.com/format37/fpv-photogrammetry).

## Полёт

- **Самолёт**: ZOHD Altus, двухмоторное крыло из пенопласта с V-образным хвостом, размах 980 мм.
- **Автопилот**: Matek H743 с ArduPlane 4.6. Автоматический взлёт, затем весь полёт в FBWA (ручное управление со стабилизацией). Два GPS-приёмника u-blox M10 на 5 Гц, барометр и EKF, который объединяет их на 25 Гц.
- **Камера**: DJI O4 Pro, 4K, стоит в носу на механизме наклона: в полёте её можно отклонять вниз. В этом полёте я пользовался наклоном редко, так что почти всё время она смотрит вперёд и немного вниз. Электронная стабилизация включена, rolling shutter, стабилизирующего подвеса нет. Это FPV-камера, а не камера для съёмки местности.
- **Место**: каньон к юго-востоку от Коджори, Грузия; старт на высоте 1123 м над уровнем моря.
- **Цифры**: 27,4 минуты с момента арминга, 31 км пути, до 663 м над точкой старта, медианная путевая скорость 19,6 м/с.

Полёт никак не планировался под картографию: ни маршрута параллельными галсами, ни камеры, которая смотрит отвесно вниз (так снимают для карт), ни опорных точек на земле с известными координатами.

Пять проходов, из которых собрана модель, без монтажа, кроме склеек:

[▶ Каньон Коджори: пять FPV-проходов, по которым построена 3D-реконструкция](https://youtu.be/s8RxP2BK_d0)

## Телеметрия

ArduPilot пишет на SD-карту двоичный лог DataFlash. `pymavlink` читает его сообщение за сообщением; полезны `GPS` и `GPA` (решение и точность), `POS` (положение по EKF), `ATT` (ориентация) и `ARM`.

Детали, которые важно отметить перед разбором:

- **GPS.** Два приёмника расходятся на 1,1 м (медиана). У второго было больше спутников (26–31), заявленная горизонтальная точность 0,14 м, и именно им пользовался автопилот.
- **Часы.** Часы полётного контроллера спешили на 0,104 %: 1,7 с за полёт. Прямая, подогнанная от времени лога к эпохам GPS-решений, убирает это с остатком 18 мс.
- **Синхронизация с видео.** Камера начинает запись по команде ARM, поэтому у времени видео и времени лога общий ноль, с точностью до задержки старта записи. Эту задержку я оставил неизвестной и нашёл позже.

## От видео к позам камеры

**Ключевые кадры.** В видео слишком много почти одинаковых кадров. Я беру кадр, когда изображение сдвинулось на 2,5 % ширины относительно предыдущего взятого (сдвиг измеряется разреженным оптическим потоком). Получается примерно кадр в секунду: 241 кадр из пяти проходов над каньоном, уменьшенный до 1920 px.

**[Structure from motion](https://en.wikipedia.org/wiki/Structure_from_motion)** (SfM, восстановление структуры по движению; программа [COLMAP](https://colmap.github.io/), инкрементальный режим):

1. [SIFT](https://www.youtube.com/watch?v=4AvTMVD9ig0)-признаки в каждом кадре, сопоставление между всеми парами кадров.
2. Каждая пара проверяется геометрически: [RANSAC](https://www.youtube.com/watch?v=9D5rrtCC_E0) подбирает [существенную матрицу](https://www.youtube.com/watch?v=auhpPoAqprk) и отбрасывает совпадения, которые нарушают эпиполярное ограничение $x_2^\top E\, x_1 = 0$.
3. Начинаем с одной хорошей пары, триангулируем её точки, затем добавляем кадры по одному. Поза нового кадра находится по 3D-точкам, которые он уже видит ([PnP](https://en.wikipedia.org/wiki/Perspective-n-Point) внутри RANSAC); новые точки триангулируются; и так далее.
4. Каждые несколько кадров **[bundle adjustment](https://www.youtube.com/watch?v=lmj2Jk5tl60)** (блочное уравнивание) уточняет всё сразу.

![Три шага инкрементального SfM: первая пара кадров, поза нового кадра, новые точки](https://latentstate.dev/_astro/fig-sfm.ru-light.Bd7K5V65.png "рис. 3 — пункт 3 списка по частям, вид сверху: модель растёт по одному кадру")

<details>
<summary>Как сопоставить одну и ту же точку на двух разных кадрах</summary>

Пункты 1 и 2 списка выше отвечают на один вопрос: какая точка кадра A и какая точка кадра B - это одно и то же место на земле. Одинаковые пиксели для этого не ищут: пиксель - это одно число яркости, и таких в кадре тысячи. Ищут несколько тысяч приметных точек и сравнивают небольшие окрестности вокруг них. Алгоритм называется SIFT (scale-invariant feature transform). В нём три шага, а после него идёт четвёртый, геометрический.

Все демо ниже работают на двух настоящих кадрах этого полёта. Их разделяют 5 минут и 134 метра: это разные проходы над одним хребтом, камера между ними повёрнута на 55°, до земли около 850 м. Для демо кадры уменьшены до 960 px, дисторсия объектива исправлена.

<details>
<summary>Шаг 1. Детектор: какие точки выбрать</summary>

**Какую задачу он решает.** Точку из кадра A потом придётся найти в кадре B, снятом с другого расстояния и под другим углом. Детектор смотрит на каждый кадр отдельно и про второй кадр ничего не знает. Значит, он должен выбирать такие места, которые он сам выберет снова на любом другом снимке той же местности. Отсюда три требования:

- положение точки определяется однозначно. Подходят пятна и углы (дом, куст, поворот тропы). Не подходят ровная поверхность (окрестность везде одинаковая) и прямой край: вдоль него окно можно сдвинуть, и картинка в нём не изменится;
- вместе с положением находится размер. Один и тот же дом с 300 и с 900 метров занимает разное число пикселей, а точка на обоих кадрах должна найтись одна и та же;
- шум матрицы и сжатия точек не создаёт.

Детектор отвечает только на вопрос «где и какого размера». Узнаваемой точку делает шаг 2.

**Стопка размытий.** Берём кадр и размываем его гауссовым фильтром несколько раз, каждый раз сильнее. Сила размытия $\sigma$ измеряется в пикселях: детали мельче $\sigma$ исчезают, крупнее остаются. Каждый следующий уровень сильнее предыдущего в $2^{1/3} \approx 1{,}26$ раза, то есть через три уровня $\sigma$ удваивается. Получается стопка копий одного кадра: в нижней видны отдельные дома, в верхней только склоны.

**Разность соседних уровней.** Из каждого уровня попиксельно вычитаем следующий: $D_k = G_k - G_{k+1}$ (difference of Gaussians, DoG). Что остаётся после вычитания:

- детали мельче $\sigma_k$ стёрты уже в обоих уровнях. Так уходит мелкий шум;
- плавные перепады яркости (тень облака, дымка) в обоих уровнях одинаковы и сокращаются;
- остаётся то, что первое размытие ещё сохранило, а второе уже стёрло: пятна размером около $\sigma_k$.

Светлое пятно на тёмном фоне даёт положительную разность, тёмное на светлом отрицательную, ровное место даёт ноль. Разностей на одну меньше, чем размытий, и они тоже лежат стопкой: каждый слой отвечает за свой размер пятен.

> Interactive demo (needs a browser): https://latentstate.dev/ru/posts/canyon-volume-from-fpv-video/

![Сверху четыре уровня размытия одного фрагмента кадра, снизу разности соседних уровней](https://latentstate.dev/_astro/fig-sift-stack.FI6djrRa.jpg "рис. 4 — шаг 1: четыре уровня размытия из тринадцати (сверху) и разности соседних уровней (снизу); живой версии нужен JavaScript")

Что попробовать:

- пройдите ползунком всю стопку. В первых разностях видны отдельные дома и кроны, в последних только целые склоны;
- наведите на светлое пятно в разности: первое число больше второго. На ровном склоне оба числа почти равны, и разность близка к нулю;
- посмотрите на график строки. Тонкая линия исходной яркости дрожит от шума, размытые идут плавно, а разность заметно отходит от нуля только там, где есть пятно подходящего размера.

**Один из 26.** Теперь в стопке разностей ищем экстремумы. Каждый пиксель слоя сравнивается с 26 соседями: восемь вокруг него в своём слое, девять в слое ниже и девять в слое выше. Это кубик 3×3×3 без центра. Пиксель становится кандидатом, если его значение больше всех 26 или меньше всех 26.

Экстремум по $x$ и $y$ означает центр пятна. Экстремум по слою означает, что размер пятна лучше всего совпал с $\sigma$ именно этого слоя: в соседних слоях отклик слабее. Так у точки появляются три числа: $x$, $y$ и размер $\sigma$.

**Два фильтра.** Кандидатов получается больше, чем нужно, и часть из них вредна.

Первый фильтр - порог контраста. На ровном небе или однородном склоне экстремумы тоже есть, только создаёт их шум. В другом кадре шум другой, и такая точка там не появится. Поэтому кандидат отбрасывается, если модуль разности в нём меньше порога. В COLMAP порог равен 0,0067 при яркости от 0 до 1.

Второй фильтр - проверка на край. На кромке дороги или гребне крыши разность большая, и порог контраста такую точку пропустит. Но закреплена она только поперёк линии. Вдоль линии все места выглядят одинаково, и в другом кадре детектор поставит точку в другом месте той же линии: совпадение найдётся, а координата будет неверной. Чтобы отличить пятно от края, в точке измеряют кривизну разностного слоя в двух направлениях. У пятна она большая в обоих, это холм. У края она большая поперёк и почти нулевая вдоль, это гребень. Точка отбрасывается, если отношение кривизн $r$ больше 10. Сами кривизны для этого не вычисляют, хватает вторых разностей соседних пикселей $D_{xx}$, $D_{yy}$, $D_{xy}$. Точка остаётся, если

$$
\frac{(D_{xx} + D_{yy})^2}{D_{xx} D_{yy} - D_{xy}^2} < \frac{(r + 1)^2}{r} = 12{,}1 \quad \text{при } r = 10.
$$

Первый фильтр убирает точки, которые не повторятся в другом кадре. Второй убирает точки, которые повторятся не в том месте.

> Interactive demo (needs a browser): https://latentstate.dev/ru/posts/canyon-volume-from-fpv-video/

![Слой разности с отмеченными экстремумами: жёлтые приняты, красные лежат на крае, белые слабее порога](https://latentstate.dev/_astro/fig-sift-extrema.9MtClhDJ.jpg "рис. 5 — шаг 1: экстремумы одного слоя разности среди 26 соседей. Жёлтые приняты, красные лежат на крае, белые слабее порога контраста; живой версии нужен JavaScript")

Что попробовать:

- нажмите «ключевая». В трёх сетках 27 чисел, центральное обведено жёлтым и больше (или меньше) всех остальных. Красных рамок нет;
- нажмите «не экстремум». Это пиксель рядом с ключевой точкой: значение у него почти такое же, но у соседа оно дальше от нуля, и сосед обведён красным;
- нажмите «слабая». Экстремум есть, но его значение по модулю ниже порога. Такие точки лежат на ровных местах;
- нажмите «на крае». Под лупой видна полоса, а не пятно. В слоях, где таких точек нет, кнопка неактивна.

**Что получается.** Демо ниже собирает всё вместе: стопка, разность, экстремумы и оба фильтра на одном фрагменте кадра.

> Interactive demo (needs a browser): https://latentstate.dev/ru/posts/canyon-volume-from-fpv-video/

![Фрагмент кадра с ключевыми точками: радиус круга равен размеру пятна](https://latentstate.dev/_astro/fig-sift-detect._lptsWSU.jpg "рис. 6 — шаг 1: ключевые точки на фрагменте кадра, радиус круга равен размеру пятна; живой версии нужен JavaScript")

Что попробовать:

- подвигайте $\sigma$: при слабом размытии точек сотни, это отдельные дома и деревья. При сильном остаются единицы, это пятна в десятки пикселей: группа домов, поляна;
- включите «показать отброшенные на краях»: красным отмечены экстремумы, которые лежат на прямом крае. На природном рельефе таких немного, здесь около 5 %;
- поднимите порог контраста: останутся только самые заметные пятна.

Детектор во всех трёх демо упрощён: кадр не уменьшается, и положение точки не уточняется до долей пикселя. Настоящий SIFT после каждого удвоения $\sigma$ уменьшает кадр вдвое (это называется октавой), чтобы не размывать большое изображение широким фильтром.

</details>

<details>
<summary>Шаг 2. Дескриптор: как записать окрестность точки числами</summary>

Вокруг точки берётся квадратное окно. Его сторона пропорциональна найденному размеру ($12\sigma$), и оно повёрнуто по преобладающему направлению градиента яркости рядом с точкой. Окно делится на 4×4 клетки, и в каждой считается гистограмма направлений градиента из 8 корзин. Получается 4·4·8 = 128 чисел. Вектор нормируется.

Каждое решение даёт устойчивость к чему-то одному:

- размер окна от $\sigma$ - к расстоянию до объекта;
- поворот окна - к крену камеры;
- градиенты вместо яркости - к освещению;
- нормировка - к контрасту;
- гистограммы по клеткам - к небольшому сдвигу и перспективному искажению.

> Interactive demo (needs a browser): https://latentstate.dev/ru/posts/canyon-volume-from-fpv-video/

![Одна и та же точка в двух кадрах: окна до и после поворота и 128 чисел двух дескрипторов](https://latentstate.dev/_astro/fig-sift-describe.DPuJKMHa.jpg "рис. 7 — шаг 2: одна точка в кадрах A и B. Окна стоят под разными углами, после поворота они почти одинаковы, как и 128 чисел; живой версии нужен JavaScript")

В кадрах A и B окно стоит под разным углом и имеет разный размер. После поворота оба окна показывают почти одно и то же, а лучи в клетках (гистограммы) и столбики внизу почти совпадают.

</details>

<details>
<summary>Шаг 3. Сопоставление</summary>

Для каждого дескриптора из кадра A ищется ближайший в кадре B. Мера близости - обычное евклидово расстояние между векторами из 128 чисел. Затем два фильтра:

- **Ratio test** (тест Лоу). Расстояние до лучшего кандидата должно быть заметно меньше, чем до второго: $d_1 / d_2 < 0{,}8$. Если два кандидата почти одинаковы, это повторяющаяся текстура, и выбрать между ними нельзя.
- **Взаимная проверка.** Точка из B тоже должна выбрать ту же точку из A.

> Interactive demo (needs a browser): https://latentstate.dev/ru/posts/canyon-volume-from-fpv-video/

![Два кадра один над другим, совпавшие точки соединены линиями](https://latentstate.dev/_astro/fig-sift-match.bEOV4Hlw.jpg "рис. 8 — шаг 3: пары точек после ratio test и взаимной проверки; живой версии нужен JavaScript")

Сдвиньте порог к 1,0: линий становится в несколько раз больше, и новые идут вразнобой. При 0,6 пар мало, но почти все лежат в общем потоке.

</details>

<details>
<summary>Шаг 4. Геометрическая проверка</summary>

Дескриптор ничего не знает о положении точки в кадре, поэтому после шага 3 часть пар всё ещё ложная. Расположение точек на двух кадрах не одинаковое: ближние смещаются сильнее дальних (параллакс), и сам кадр может быть повёрнут. Одинаково другое: все верные пары объясняются одним движением камеры. Это эпиполярное ограничение $x_2^\top F\, x_1 = 0$: для точки $x_1$ первого кадра матрица $F$ задаёт во втором кадре прямую, и пара этой точки обязана лежать на ней.

Матрицу находит RANSAC:

1. Взять случайный набор пар минимального размера и вычислить по нему матрицу.
2. Посчитать, сколько остальных пар с ней согласны, то есть лежат к своей прямой ближе допуска.
3. Повторить много раз и оставить матрицу с наибольшим числом согласных пар. Несогласные пары выбросить.

> Interactive demo (needs a browser): https://latentstate.dev/ru/posts/canyon-volume-from-fpv-video/

![Два кадра один над другим: согласованные пары зелёные, отброшенные красные](https://latentstate.dev/_astro/fig-sift-verify.ClmuITQk.jpg "рис. 9 — шаг 4: пары, согласованные с одним движением камеры (зелёные), и отброшенные (красные); живой версии нужен JavaScript")

Сколько нужно попыток? Пусть доля верных пар равна $w$, а в наборе $s$ пар. Набор целиком верный с вероятностью $w^s$. Чтобы с вероятностью $p$ хотя бы один набор оказался таким, нужно

$$
N = \frac{\log(1 - p)}{\log(1 - w^s)}
$$

попыток. При $w = 0{,}78$, $s = 8$ и $p = 0{,}99$ это 32 попытки, а при $w = 0{,}5$ уже 1177. Отсюда два вывода: ratio test стоит перед RANSAC, потому что он поднимает $w$, а набор должен быть как можно меньше.

В демо $F$ - фундаментальная матрица, и набор состоит из 8 пар. Она работает прямо в пикселях, калибровка камеры ей не нужна. Существенная матрица $E$ из списка выше - то же ограничение для камеры с известной калибровкой $K$: $E = K^\top F K$. Ей хватает 5 пар (при $w = 0{,}5$ это 146 попыток вместо 1177), и из неё получаются поворот камеры и направление её сдвига. COLMAP оценивает для каждой пары кадров три модели: $E$, $F$ и гомографию $H$ (для плоской сцены или чистого поворота) - и берёт ту, которая лучше объясняет совпадения.

</details>

<details>
<summary>В цифрах этого полёта</summary>

Из базы данных COLMAP:

- 241 кадр, медиана 8246 ключевых точек на кадр, всего 1,8 млн;
- каждый кадр сравнивается с каждым: 28 920 пар кадров. Так находятся связи между разными проходами над одним местом;
- совпадения по дескрипторам нашлись в 21 623 парах кадров, геометрическую проверку прошли 15 880 (55 %), медиана 248 совпадений на пару;
- извлечение признаков заняло 8 секунд, сопоставление всех пар - меньше двух минут на RTX 4090;
- у пары кадров из демо в настоящем прогоне 1919 подтверждённых совпадений. В демо их около ста: кадры вдвое меньше, и точек 1500 на кадр вместо десяти тысяч.

</details>

<details>
<summary>Что взято из библиотек, а что написано руками</summary>

В конвейере шаги 1–4 - это две команды COLMAP:

```bash
colmap feature_extractor --database_path database.db --image_path images \
  --ImageReader.camera_model OPENCV --ImageReader.single_camera_per_folder 1 \
  --ImageReader.camera_params "$FOCAL,$FOCAL,960,540,0,0,0,0" \
  --SiftExtraction.use_gpu 1 --SiftExtraction.max_num_features 8192

colmap exhaustive_matcher --database_path database.db \
  --SiftMatching.use_gpu 1 --SiftMatching.guided_matching 1
```

Что происходит внутри:

- **Детектор и дескриптор** - SiftGPU, на видеокарте. Дескрипторы хранятся в варианте RootSIFT: вектор нормируется по сумме, и из каждого числа берётся корень. Совпадения от этого надёжнее.
- **Сопоставление** - перебор всех пар дескрипторов на видеокарте. Порог ratio test 0,8, взаимная проверка включена.
- **Геометрическая проверка** - LO-RANSAC, допуск 4 px, минимум 15 согласных пар.
- **`guided_matching`** - когда геометрия пары кадров найдена, поиск совпадений повторяется, но уже только вдоль эпиполярных прямых. Так возвращаются пары, которые не прошли ratio test. Поэтому подтверждённых совпадений в сумме больше (9,0 млн), чем найденных по дескрипторам (6,6 млн).

Те же четыре шага на OpenCV занимают полтора десятка строк. Так посчитаны точки и дескрипторы для демо:

```python
import cv2, numpy as np

sift = cv2.SIFT_create(nfeatures=1500, contrastThreshold=0.02)
kp_a, des_a = sift.detectAndCompute(gray_a, None)        # шаги 1 и 2
kp_b, des_b = sift.detectAndCompute(gray_b, None)

bf = cv2.BFMatcher(cv2.NORM_L2)                          # шаг 3
two_best = bf.knnMatch(des_a, des_b, k=2)
back = bf.knnMatch(des_b, des_a, k=1)
good = [m for m, n in two_best
        if m.distance < 0.8 * n.distance                 # ratio test
        and back[m.trainIdx][0].trainIdx == m.queryIdx]  # взаимная проверка

pa = np.float32([kp_a[m.queryIdx].pt for m in good])
pb = np.float32([kp_b[m.trainIdx].pt for m in good])
F, inliers = cv2.findFundamentalMat(pa, pb, cv2.FM_RANSAC, 1.5, 0.999)  # шаг 4
```

Руками написано то, что вокруг:

- отбор ключевых кадров по оптическому потоку: `select_keyframes.py`, из OpenCV взяты `goodFeaturesToTrack` и `calcOpticalFlowPyrLK`;
- `localize_pnp.py`: шаги 3 и 4 для нового кадра против готовой модели. Поиск соседей, ratio test, затем PnP внутри RANSAC;
- проверки и всё после SfM: тест на зеркальный проход, привязка к GPS, сетка высот, объём;
- демо на этой странице: детектор, поиск соседей, 8-точечный алгоритм и RANSAC на TypeScript без библиотек.

</details>

<details>
<summary>Где SIFT ломается</summary>

- наклон поверхности к камере меняется больше чем на 30–40°: окно искажается, и гистограммы перестают совпадать. Поворот кадра вокруг оси объектива не мешает, окно поворачивается вместе с ним;
- повторяющаяся текстура (окна, грядки): такие точки отбрасывает ratio test;
- поверхность без текстуры (вода, снег, небо) и блики: детектору не за что зацепиться;
- смаз от движения.

В этом полёте слабые места - кроны деревьев и глубокая тень. Современная замена - обученные детекторы и сопоставители: SuperPoint с LightGlue, LoFTR. Геометрическая проверка после них та же.

</details>

</details>

Bundle adjustment - ядро метода. Он двигает все позы камер $(R_i, t_i)$, общие внутренние параметры $K$ с дисторсией и все 3D-точки $X_j$ так, чтобы ошибка репроекции была минимальной:

$$
\min_{R_i,\,t_i,\,K,\,X_j}\ \sum_{i,j} \rho\!\left(\norm{\pi\!\left(K,\ R_i X_j + t_i\right) - x_{ij}}^2\right)
$$

Здесь $x_{ij}$ - место, где точка $j$ наблюдалась в кадре $i$, $\pi$ проецирует через модель объектива, а $\rho$ - робастная функция потерь (soft L1 в локальных уточнениях COLMAP), чтобы ошибочное совпадение тянуло с ограниченной силой, а не с квадратичной. Решатель - Левенберг–Марквардт в Ceres. Быстрым его делает только структура задачи: каждая невязка касается одной камеры и одной точки, поэтому точки можно исключить первыми (дополнение Шура) и остаётся гораздо меньшая система только по камерам.

Результат: все 241 кадр в одной модели, 137 000 точек, медианная ошибка репроекции 0,75 px. Камера не калибровалась по шахматной доске: фокусное расстояние (800,6 px) и радиальная дисторсия ($k_1 = -0.114$) получены из bundle adjustment и совпадают с тем, что дал более ранний полёт с той же камерой.

## От поз к поверхности

**Multi-view stereo.** Для каждого кадра PatchMatch из COLMAP оценивает глубину и нормаль поверхности в каждом пикселе, сравнивая небольшой фрагмент с десятью соседними кадрами (нормированная кросс-корреляция). Удачные гипотезы распространяются на соседние пиксели и случайно возмущаются, и это намного дешевле, чем перебирать все глубины. Второй проход оставляет только те глубины, с которыми согласны соседние кадры.

**Слияние** объединяет 241 карту глубины в одно облако и оставляет точку, только если её подтверждают несколько видов: 8,0 млн точек. Это заняло 89 минут на RTX 4090, большую часть времени всего конвейера.

## Метры: привязка модели к GPS

У реконструкции по одной камере нет масштаба, севера и верха: она верна с точностью до преобразования подобия, это семь неизвестных. GPS их убирает. У каждого ключевого кадра есть время, значит, есть и положение по GPS; SfM даёт той же камере положение в единицах модели. Решение Умеямы в замкнутой форме находит масштаб $s$, поворот $R$ и сдвиг $t$, которые лучше всего переводят один набор точек в другой:

$$
\min_{s,\,R,\,t}\ \sum_i \norm{s R\, c_i + t - g_i(\tau)}^2
$$

где $c_i$ - центры камер из SfM, $g_i$ - положения по GPS, а $\tau$ - задержка между видео и логом. Я перебираю $\tau$ и беру лучшую подгонку:

- задержка **1,15 с** (камере нужно около секунды, чтобы начать запись после арминга);
- масштаб **162,5 м** на единицу модели;
- невязка **3,0 м (СКО)** по 223 камерам. Если подгонять каждый проход отдельно, он сходится до 0,7–1,5 м, и все четыре дают один и тот же масштаб с точностью 0,1 %.

Разница между 1 м и 3 м - это дрейф между проходами внутри модели SfM. Правильно было бы не выравнивать после, а добавить положения по GPS в bundle adjustment как дополнительные невязки.

Самолёт летит со скоростью 20 м/с, поэтому ошибка времени в 0,1 с - это 2 м ошибки положения. Вот почему стоило исправлять часы и искать задержку.

## Проход, который собрался зеркально

Подгонка к GPS показала ошибку, которую ошибка репроекции показать не могла. Один высокий проход (18 кадров) после выравнивания оказался на километр выше настоящего трека. При этом ошибка репроекции у него была обычной: 1,3 px.

У далёкой, почти плоской сцены есть два допустимых решения для движения камеры, зеркальных друг другу. Если у прохода мало общих точек с остальной моделью, реконструкция может выбрать неверное, а его точки, которые видит только этот проход, репроецируются идеально. Находит это простой тест: у камеры, наклонённой вниз, низ кадра должен быть ближе верха. В том проходе порядок был перевёрнут в 18 кадрах из 18. Я его выбросил.

Низкая ошибка репроекции говорит, что модель согласована сама с собой. Она не говорит, что модель верна. Это говорят независимые данные: здесь GPS и грубая проверка по высотам [SRTM](https://ru.wikipedia.org/wiki/Shuttle_Radar_Topography_Mission) вдоль трека (модель в медиане на 9 м выше, это в пределах собственной ошибки SRTM на таком рельефе).

## От облака точек к объёму

1. **Сетка высот.** Облако поворачивается и масштабируется в метры (восток, север, верх), затем в каждой ячейке 2 м берётся медиана высот точек. Измерения есть на 78 % площади модели; пропуски (глубокая тень, склоны без текстуры) интерполированы и помечены.
2. **Ось.** Линия дна каньона - это самый дешёвый путь по сетке, если ценой считать высоту над локальным дном. После сглаживания она задаёт каждой плотине положение и направление: всегда поперёк каньона.
3. **Объём.** Вода - это все ячейки ниже уровня, связанные с дном между двумя плотинами. Это заливка, поэтому боковая долина за хребтом остаётся сухой. Тогда $V = \sum_{\text{вода}} (h_\text{воды} - z)\cdot 2^2\ \text{м}^3$.

Если вода доходит до края модели, лаборатория сообщает об этом и не показывает число.

## Насколько можно верить числу

- **Масштаб** верен примерно до 0,2 %, то есть около 0,6 % по объёму.
- **Форма** даёт ошибку больше: 3 м дрейфа между проходами и сетка 2 м по видео, где на землю приходится примерно 0,5 м на пиксель.
- **Деревья.** Это модель поверхности. Там, где дно заросло лесом, «землёй» считаются кроны, и настоящий объём немного больше.
- **Дыры.** Лаборатория показывает, какая доля воды лежит над интерполированным рельефом. Держите её маленькой.

Для настоящей съёмки нужно летать по сетке с камерой вниз, добавить опорные точки на земле или [RTK](https://ru.wikipedia.org/wiki/Real_Time_Kinematic) и включить GPS в bundle adjustment. Для пенопластового самолёта в выходной водохранилище в 1,5 млн м³, измеренное с точностью до нескольких процентов, - неплохой результат.

## Где ещё это применяется

Водохранилище в каньоне - игрушечный вопрос, но та же цепочка (позы, плотная поверхность, метры, разность поверхностей) - это повседневная работа в съёмке местности:

- **Склады сыпучих материалов.** Сколько песка, гравия или грунта лежит в куче, с измерением каждую неделю.
- **Карьеры и шахты.** Сколько породы вынули за месяц: две съёмки, одно вычитание.
- **Стройка.** Фактическая поверхность против проектной модели показывает, где срезать и где подсыпать.
- **Оползни и наводнения.** Модели до и после дают объём завалов, который нужно убрать.
- **Лес.** Поверхность минус голая земля - это модель высоты крон: высота деревьев и запас древесины.
- **Берега морей и рек.** Сколько грунта потеряно между двумя датами.
- **Места, куда дрон не долетит.** Та же геометрия по спутниковым снимкам покрывает большие площади, закрытые зоны и районы бедствий.
- **Обход объекта.** Снимки 360°-камеры, встроенные в модель с дрона.

Во всех этих задачах 3D-реконструкция - только полдела. Вторая половина - погрешности: найти их источники и показать, сколько каждый вносит в итоговое число. Это отдельная и непростая задача.
