Knudsen var sønn av Henrik Wergeland og Gunhild Mathea Larsdatter Knudsen (1805–1883). Gunhild var tjenestejente hos Henriks far, Nicolai Wergeland, som var sogneprest i Eidsvoll prestegjeld. Sommeren og høsten 1834 var Henrik vikarierende sogneprest for faren og gjorde da tjenestejenta gravid. Wergeland lyktes i å få bonden Knud Jensen til å ta på seg farskapet til Olaf Knudsen – mot god betaling.