Rossier volvía a Suiza en temprano 1862 y en octubre de 1865 se casaba con Catharine Barbe Kaelin (1843-1867).