Han vokste opp i Rødovre som sønn av kaptein og skipsinspektør Erik Barfoed og kontorassistent Tove Leffers. Faren tok navnet Barfoed fra sin mormors slekt. Lars Barfoeds tippoldefar var overrettssakfører Theodor Cæsar Emil Barfoed.