Han fødtes i Barcelona som sønn av Leo Ulfeldt og Anna Maria, født komtesse von Sinzendorf. Ulfeldt ble keiserlig-kongelig kæmmerer (regnskapsfører ved et hof) og avanserte til geheimeråd i 1736. I 1740 fulgte han broren på en reise til Konstantinopel, hvor denne var ambassadør.