Jean dirige la première commission juridique de Justinien, qui débouche sur la rédaction du Code Justinien, première composante du "Corpus iuris civilis", devenant le principal conseiller juridique de l'empereur. Il est aussi nommé préfet du prétoire d'Orient, un poste primordial dans l'architecture de l'Empire romain d'Orient, lui donnant le pouvoir d'introduire de nouvelles taxes. Celles-ci sont très impopulaires et pourraient avoir contribué au déclenchement de la sédition Nika de 532. En effet, les rebelles demandent notamment la démission de Jean de Cappadoce. Justinien cède face à la pression de la foule mais, après avoir écrasé ce soulèvement, il rappelle Jean et le nomme à nouveau préfet du prétoire. Jean de Cappadoce participe aussi aux affaires étrangères puisqu'il participe à la rédaction de la paix éternelle avec Chosroès. En revanche, il ne parvient pas à convaincre Justinien de renoncer à la guerre contre les Vandales, dont il craint le coût exorbitant. De manière à éviter une hausse des dépenses publiques, il mène une politique de réduction de la bureaucratie à Constantinople et dans les provinces, tentant de favoriser la méritocratie.