Teoderik ble født i Pannonia i 454 etter at hans folk hadde beseiret hunerne i slaget ved Nedao i 454. Hans far var Teodemir, en germaner av høy status fra slekten amaliene, og hans mor var Erelieva. Fra Teoderik var ti år gammel og til han var atten vokste han opp som gissel i Konstantinopel. Dette for å sikre en avtale hans far hadde inngått med keiser Leo I av Østromerriket. Her fikk han en privilegert utdannelse under keiserlig rettledning og etterfulgte sin far som leder for østgoterne i Pannonia i 473. Han oppdaget da at han var i krig med sarmatere som var allierte med den germanske stammen skirerne. Han samlet sine tilhengere og krysset Donau for å angripe sarmatiske landsbyer. Men sult blant østgoterne samme år, tvang Teoderik til å lede sitt folk sørover, sammen med sin bror. Han kom da i konflikt med andre østgotere i Trakia som var ledet av Teodorik Strabon, som han til sist fortrengte. Som en følge, forente Teoderik etter dette, de to østgotiske stammene i 484.