Žygimantas Kestutis syntyi suurin piirtein vuonna 1365. Žygimantas oli Kęstutisin poika, ja Jogailan vangituttaessa hänet Žygimantaskin joutui vangiksi vuonna 1382. Hän oli vankeudessa vuoteen 1384 saakka, jolloin hän pakeni veljensä Vytautas Suuren luokse. Vuosina 1389–1398 hän oli perheineen Saksalaisen ritarikunnan panttivankina. Myöhemmin hän otti osaa muun muassa Vorsklajoen taisteluun veljensä alaisuudessa.