Giovanni Muzi kom fra enkle kår og var sønn av en kusk, Giovanni Cosimo Muzi som stammet fra Otricoli i Umbria, og hans hustru Maria Antonia Sabbatini. Familiens bosted i Roma var på Via delle Carrozze i sognet San Lorenzo in Lucina.