Han vokste opp i Svenstrup i Himmerland som sønn av skoleinspektør og klokker Peder Christian Espersen og husmor Inger Lund. Hjemmet var preget av grundtvigianismen og interesse for sang og musikk.