Han var eldste sønn av Stefano Visconti og Valentina Doria. Fra 1346 til 1349 levde han i eksil, men ble kalt tilbake av sin onkel Giovanni Visconti.