I 1856, 21 år gammel, begynte Olaf Knudsen som enslig lærer på den nyåpna Torød skole der han etterhvert blei rektor. Han var ved skolen til 1910, i 55 år til sammen. I 1870 ektet Knudsen Anne Karine Grinder (1846–1876) fra Nes i Akershus. De fikk barna Ragnvald Arnold Knudsen (1872–1950), Dagny Andrea Knudsen (1874) og Thora Gunhilde Knudsen (1875).