Han ble født som den tredje i en barneflokk på sju barn. Hans far var Francesco Ginnasi, pavelig arkivart, og moren var Caterina Pallantieri. En av hans yngre brødre, Achille Ginnasi (1553-1594), fungerte som apostolisk protonotar, utnevnt i 1593 som guvernør av grevskapet Venaissin av pave Klemens VIII. Dette området var en pavelig enklave nær Avignon i Provence, helt omgitt av Frankrike.