Ziemovit V was de oudste zoon van hertog Ziemovit IV van Mazovië en diens echtgenote Alexandra van Litouwen, dochter van grootvorst Algirdas. Hij bracht zijn jonge jaren door aan het hof van de Poolse koning Wladislaus II Jagiello en vocht in 1410 aan de zijde van Wladislaus II in de Slag bij Tannenberg. In 1416 assisteerde hij de Poolse koning bij het Concilie van Konstanz.