Markian ble født i Trakia eller i Illyria. Han tilbrakte sine første år som en ubetydelig soldat og tjenestegjorde i 19 år under generalene Ardaburius og Aspar, og deltok i krigene mot perserne og vandalene. I 431 ble han tatt til fange av vandalene i kampene nær Hippo Regius og ført fram for vandalenes konge Geiserik og ble frigitt ved at han sverget på å aldri igjen kjempe mot vandalene.