João Troglita é mencionado pela primeira vez como tendo participado na Guerra Vândala (533-534) sob Belisário, e pode ser identificado com outro João, que comandou uma unidade de federados nas batalhas de Cartago e Tricamaro. Troglita permaneceu na província da África após a partida de Belisário em 534, e participou nas expedições de Salomão contra os mouros em 534-535. Neste momento, foi provavelmente o governante militar local (duque) em Bizacena ou, mais provavelmente, Tripolitânia, pois é mencionado como liderando as expedições bem sucedidas contra a tribo dos leuatas. Troglita também lutou contra os exército amotinado em Membresa em 536, e então sob Germano, o sucessor de Salomão, na decisiva batalha de Escala Veteres, na primavera de 537. Nesta batalha, foi um dos comandantes da cavalaria do flanco direito do exército bizantino, que, de acordo com o historiador Procópio, foi derrotada e repelida pelos homens de Estotzas, perdendo suas bandeiras de guerra no processo. No entanto, a batalha resultou em uma vitória imperial. Em 538, Troglita distinguiu-se na Batalha de Autenti, provavelmente em Bizacena.