Восстановление с 2 снимков (читать далее)
С любой точки 1 сцены (но не поворачивая мышкой камеру) нажать клавишу 1, затем с другой точки (так же не поворачивая камеру) клавишу 2, затем t. На второй сцене построится карта с учетом эти двух снимков.

Достаточно много нового кода, но суть в том, что делается 2 снимка глубины с учетом сдвига по сцене. И затем эти два снимка строятся с учетом этого смещения. Пока без угла поворота, поэтому двигать мышкой нельзя.
Однако это первая попытка восстановления с нескольких ракурсов, причем, на мой взгляд, достаточно успешная.

В следующий раз планирую сливать точки с одинаковыми координатами.
Так же нужно сделать неограниченное кол-во снимков.