En junio de 1744 lo llevaron a Jolmogory, cerca del Mar Blanco, donde Iván Antónovich, aislado de su familia, pasó los siguientes doce años.