Seu reinado foi caracterizado por uma série de guerras contra os poderes germânicos que culminaria na reconquista de vastas porções do então findado Império Romano do Ocidente. Este período de reconquistas se iniciou em 533, quando o general Belisário foi enviado para recuperar a província da África Proconsular dos vândalos, que controlavam-a desde 429. A Guerra Vândala acabou em 534, mas a província só foi efetivamente tomada em 548, por João Troglita, pois eclodiram várias rebeliões no exército e entre as tribos berberes que residiam na região. Na Itália, aproveitando-se do assassinato da rainha Amalasunta por Teodato , Justiniano lançou duas expedições contra o Reino Ostrogótico, uma na Sicília, sob Belisário, e outra na Dalmácia, comandada por Mundo, o que deu início à chamada Guerra Gótica. Os bizantinos conquistaram gradualmente os territórios ostrogodos, capturando as cidades de Ravena, Nápoles e Roma. Em 549, Belisário, que estava em Ravena, foi convocado para Constantinopla e em seu lugar foi colocado o eunuco armênio Narses, que chegou na Itália no final de 551. Sob o comando de Narses, os bizantinos conseguiram vitórias decisivas contra os reis Tótila e Teia que concluíram a guerra, embora os ostrogodos permanecessem resistentes ao domínio imperial por algum tempo. Em 551, quando a Guerra Gótica ainda decorria, Atanagildo, um nobre visigodo do Reino Visigótico, procurou a ajuda de Justiniano numa rebelião contra o rei , que enviou uma força sob Libério. O Império Bizantino manteve uma faixa no sul da Hispânia, que ficou conhecida como província da Espânia, até o reinado de Heráclio .