Segundo uma série de cartas do arcebispo Teofilacto de Ócrida, Gregório Taronita originalmente reteve algum ofício civil nos Bálcãs, antes de ser confiado com uma missão no Ponto ca. 1101-1103. Lá, segundo Teofilacto, triunfou contra os turcos seljúcidas e os francos; a carta provavelmente alude a seu papel na libertação de , que havia sido feito cativo pelos turcos em Neocesareia desde sua derrota na Batalha de Melitene em 1100. Após completar sua missão com sucesso, Gregório retornou para Constantinopla, onde Aleixo I nomeou-o duque (governador militar) do Tema da Cáldia no Ponto.