Ole Richter vokste opp på storgården Rostad på Inderøy. Foreldrene var Massi, født Rostad, og Jørgen Richter. Ole var deres fjerde av i alt åtte barn. De var neppe mer velstående enn andre storbønder på Inderøy, men hadde utdannelse og slektsforbindelser til embetsmennene. Richters biograf Jørgen Fuglum mener at familien, sosiokulturelt sett, befant seg i «en underlig mellomstilling i bygda».