Ferreira fikk et hus i Nagasaki, og ble tvunget til å leve med en japansk enke etter en henrettet kinesisk kriminell. Forpliktelsen til å leve med en kvinne ble standard i den japanske politikk overfor misjonærer som var blitt frafalne. Det skulle bidra til ytterligere ydmykelse og undergrave deres egen identitet. Det ble antatt at løftet om sølibat i lengden ikke ville bli opprettholdt. Japanske kilder fra denne perioden hevder at Ferreira fikk en sønn og to døtre, men det er uklart om dette kom ut av dette forholdet.