Leo Ulfeldt var sønn av rikskansler Corfitz Ulfeldt og Leonora Christina Ulfeldt, og tilbrakte sin tidlige barndom hos mormoren Kirsten Munk på Boller. I 1653 sendte hun ham til foreldrene som på det tidspunkt oppholdt seg i Stockholm. På grunn av farens mange uheldige disposisjoner, var veien til karriere lukket for ham i Danmark-Norge.