Kmeny si však zachovaly svou nepolapitelnou identitu. V roce 9 n. l. koalice kmenů pod vedením Cheruského náčelníka Arminia, znalého římské taktiky, porazila v bitvě v Teutoburském lese silné římské oddíly. Římané se následně vzdali dalších pokusů o expanzi do Germánie a místo toho vytvořili na Rýnu a Dunaji trvalou hranici. Do roku 100 n. l. byla pevně ustanovena hranice podél Rýna, Dunaje a opevněné "Limes Germanicus". Tacitus ve svém díle "Germánie" uvádí , že několik germánských kmenů žilo pod římskou nadvládou na území jižně a západně od této hranice. Tyto země představují moderní státy Bádensko-Württembersko, jižní Bavorsko, jižní Hesensko, Sársko a Porýní. Území dnešního Rakouska tvořily řádné provincie Noricum a Raetie. Provincie Germania Inferior (s hlavním městem nacházejícím se v "Colonia Claudia Ara Agrippinensium", dnešní Kolín nad Rýnem) a Germania Superior (s hlavním městem v "Mogontiacum", moderní Mohuč), byly formálně ustaveny v roce 85 n. l., po dlouhých a vyčerpávajících taženích, neboť trvalá vojenská kontrola se omezovala na oblasti podél řek.