Na území pozdější Horní Germánie pronikli Římané poprvé během galských tažení Julia Caesara v polovině 1. století př. n. l. Navzdory svému názvu byla Horní Germánie obydlena převážně keltskými kmeny, především Helvéty, Sekvány a Trevery. Pouze na východním břehu středního Rýna sídlily zbytky Germánů, kteří se pod vedením Ariovista pokusili zmocnit Vesontia, nicméně v roce 58 př. n. l. byli poraženi Caesarem. Augustus převzal v prvních pěti letech své vlády (po roce 27 př. n. l.) přímou kontrolu nad mnoha římskými provinciemi včetně Gallie Belgicy, z níž byla patrně mezi roky 16 až 13 př. n. l. vyčleněna dvě vojenská pásma – Horní Germánie a Dolní Germánie. Augustovým cílem bylo spojení všech germánských území do jediné provincie, jež se měla nazývat "Germania Magna". Tento záměr byl však zmařen vítězstvím Germánů vedených Arminiem v bitvě v Teutoburském lese v roce 9. Augustus se poté rozhodl ustavit severní hranicí říše řeky Rýn a Dunaj. Konflikty s Germány však neustávaly, což přimělo Římany k vedení vojenských výprav a k opevnění rýnské hranice.