Til tross for de ovennevnte grepene led imperiet av flere betydelige tilbakeslag i løpet av 500-tallet. Det første var den justinianske pesten som var fra 541 til 543, og reduserte befolkningen hardt, og førte antagelig til mangel på arbeidskraft og økning i lønnsutgiftene. Mangelen på arbeidskraft førte også til en betydelig økning av «barbarer» i de bysantinske hærene etter 543. Den langvarige krigen i Italia og krigene med perserne førte til press på imperiets ressurser, og Justinian ble kritisert for å innskrenke den regjeringensstyrte posttjenesten som han begrenset til kun en østlig rute, som hadde militær betydning.