La domination romaine prend brusquement fin au début du , lorsque les Alamans franchissent le Rhin. Ceux-ci occupent alors le Sundgau, suivis par les Francs après la victoire de Tolbiac en 496. Le Sundgau est englobé dans le royaume d’Austrasie et fait partie du duché d’Alsace. Le nom « Sundgau » provient ainsi de cette période, où l’Alsace est séparée en deux entités administratives, la Basse-Alsace appelée comté du Nordgau, et la Haute-Alsace appelée comté du Sundgau. La frontière entre les deux territoires correspond approximativement à celle des actuels départements du Haut-Rhin et du Bas-Rhin.