Etter ni års utetjeneste var hans hustrus helse sviktende. Da vendte Brown tilbake til hjemlandet, og ble pastor og lærer i Owasco Outlet, nær Auburn i staten New York (1851–59). Han gikk inn for opprettelsen av et for kinner, og det skulle bli viorkeliggjort i Auburn, skjønt det ble etterpå flyttet til Elmira i New York.