Martin ble født i Pannonia i dagens Ungarn som sønn av en tidligere romersk offiser som hadde slått seg ned her etter endt tjeneste. Senere flyttet han til farens hjemsted Pavia i Italia for å få utdannelse. Foreldrene var hedenske, men Martin skal allikevel ha fått en kristen opplæring i Pavia.