På annet hold ble riket truet av angripende petsjeneger, ungarere og et serbisk opprør, men keiseren han klarte ved militære fremganger å beholde de bysantinske territorier på storparten av Balkan. En trofast støtte hadde han i sin barndomsvenn, tyrkeren Johannes Axouch som var øverstkommanderende for hæren («»). Mot normannernes kong Roger II av Sicilia søkte han støtte ved forhandlinger med den tyske keisermakt. Han arrangerte seg med de tyske herskerne Lothar III og Konrad III - ved Thessalonikitraktaten allierte de seg og keiser Johannes lovet å støtte dem finansielt.