Kort tid etter farens død flyttet Johan til en moster og hennes mann, sogneprest til Byneset, Albrecht Midelfart. De var barnløse, og ønsket at han skulle vokse opp hos dem.