Justinus ble under keiser Leo I (457 til 474) opptatt i den nylig grunnlagte livgarden, , og steg så i gradene, uten at enkelthetene i forfremmelse ikke er godt kjent for ettertiden. I 503 var han allerede en av generalene i det store bysantinske hærvesen, hvis offensiver mot de persiske sassanidene ikke desto mindre slo sørgelig feil. Med større fremgang tjenestegjorde han som admiral under kampene mot den opprørske general Vitalian i 515. Noe senere ble han kommandør for den keiserlige garde ().