Han var sønn av Poul Frederik Gaarder (1778–1862) og Christine Helene Margrethe Heltzen (1780–1853). Faren var prest og moren var av slekten Heltzen. Farfaren derimot var fra Odalen. Oppvoksten var på Alstahaug prestegård, like ved Alstahaug kirke der Petter Dass hadde jobbet før en gang.