아우구스투스 시대에 로마의 푸블리우스 큉크틸리우스 바루스 장군이 게르마니아(로마인들은 대체로 라인강에서 우랄 산맥에 이르는 영토를 이렇게 불렀다.)를 침략하였는데, 이 시기에 게르만족은 부족의 정체성을 지키면서도 로마식 전술에도 익숙해졌다. 서기 9년에 바루스가 이끄는 3개 로마 군단이 토이토부르크 숲 전투에서 케루스키족 족장 아르미니우스(헤르만)에게 전멸당하였다. 이로써 라인강에서 도나우강에 이르는 오늘날의 독일 땅은 로마 제국의 지배권에 편입되지 않았다. 타키투스가 《게르마니아》를 쓴 100년경에 게르만족은 라인강에서 도나우강에 이르는 선을 따라 모여 살았는데, 이들이 살던 땅은 오늘날의 독일 영토 대부분을 차지했다. 그러나 오스트리아, 남부 바이에른, 서부 라인란트 지방에서는 로마 속주가 설치되었다. 3세기에는 알라마니족, 프랑크족, 카티족, 작센족, 프리지아족, 시캄브리족, 투링기족 등 규모가 큰 서부 게르만 부족이 나타났다. 260년경에 게르만족은 로마 제국 국경와 도나우강 국경선을 넘어 로마 영내로 들어왔다.