Han ønsket i ung alder å bli eneboer, men faren motsatte seg dette og unge Martin gikk 15 år gammel i tjeneste som soldat i Romerrikets hær. Han ble stasjonert i Gallia hvor han avanserte i gradene og ble offiser i kavaleriet i keiser Konstantius IIs garde. Han ble imidlertid døpt 18 år gammel i Amiens. Historien om hvordan han tilbød en tigger halvparten av sin kappe er velkjent, og er fra tiden som offiser.