El padre era un notario que murió en torno al año 1500; Paolo contaba con un hermano mayor, Benedetto Giovio, historiador y humanista, que cuidó de su formación.