Aunque se desconoce quién fue su madre, está documentado que Giovanni Antonio tuvo relaciones con al menos tres mujeres, primero con Castellana Terrenato da Caltrano, después con Lucia Muzan da Malo y más tarde con Angela dalla Zoga.