Mot slutten av 300-tallet ble Sirmium angrepet og hærtatt av gotere, og ble senere underlagt Østromerriket. I 441 erobret hunere byen, og forble for mer enn et århundre herjet og underlagt ulike andre barbariske stammer, blant annet østgotere og gepidene. For en kort tid var Sirmium sentrum for en gepidisk statsdannelse og kong Kunimund (død 567) preget gullmynter her. Etter 567 kom Sirmium igjen inn under Østromerriket, men i 582 ble byen erobret og ødelagt av avarer, enda en barbariske stamme østfra.