Senere i 1646 ble han overført til Yamashiki i Koishikawa (i dag Bunkyo i Hokkaido), og ble holdt de sammen med andre som hadde forsøkt å komme seg ubemerket inn i Japan. Her tok han seg japansk navn - Okamoto Sanememon - etter en henrettet forbryter, og ble gift med enken. Shogunatet gav familien økonomisk utkomme, men forbød han å forlate Yamayashiki.