Hallesby vokste opp som den sjette av 8 søsken på gården Søndre Hallesby i Aremark. Gården hadde vært i farsslekten siden 1500-tallet. Hans far Christian Hallesby var en driftig bonde og medhjelper for presten. Da Hallesby etter artium i 1897 begynte ved teologisk fakultet i Kristiania, hadde han mistet sin gudstro, og interesserte seg bare for studiets vitenskapelige side. Men i 1902 opplevde han en radikal omvendelse, og ble en ortodoks pietist. I årene 1904–07 dro han rundt som ulønnet predikant. Han gjestet også læresteder i Tyskland; i 1909 blev han dr. philos. fra universitetet i Erlangen på en avhandling om Johannes Volkelt, og begynte samme året som lærer ved Menighetsfakultetet i Oslo. Med årene ble han enda strengere. I 1928 delte han f.eks. Luthers aksept av gjengifte etter skilsmisse. Dette trakk Hallesby senere tilbake.<ref>{{Kilde www |url=http://www.kristensiden.com/398810060 |tittel=Ole Hallesby: Biografi, SædelæreGuds grønne engerSædelærenDen kristelige sedelæreFra bønnens verdenDaglig fornyelse''.