Polidoro ble født i Urbino og var en slektning av kardinal Adriano Castellesi (Hadrianus Castellensis) fra Castro i Etruria i dagens Latium. Han var sønn av Giorgio Virgili og sønnesønn av Antonio Virgili, en «ekspert på medisin og astrologi», professor i filosofi ved Universitetet i Paris. Hans bror Giovanni Matteo underviste i filosofi ved Universitetet i Pavia og en annen bror var handelsmann i London.