Apja halála után, amikor bátyja, Vytautas és unokatestvére, Jogaila (Jagelló) az uralomért harcolt, Zsigmond 1382–1384 között Jogaila fogságában volt. 1383-ban keresztelkedett meg katolikus rítus szerint. 1384-ben megszökött a fogságból és csatlakozott Vytautashoz, aki akkor a Teuton lovagrend szövetségesként harcolt Jogaila ellen. Vytautas ezután kiegyezett rokonával és elárulta a lovagrendet; így amikor néhány évvel később, 1389-ben ismét segítségüket kérte, azok túszként tartották fogva néhány családtagját. Közöttük volt Zsigmond is, egészen 1398-ig. Visszatérése után megkapta a Sztarodubi fejedelemséget. 1399-ben részt vett a balul sikerült vorszklai, 1410-ben pedig a győzedelmes grünwaldi csatában.