Alt vi vet om Panaretos er det lille han forteller om seg selv i krøniken. Han var «protosebastos» og «protonotarios» (høye administrative stillinger i statsapparatet) hos keiser Alexios III Megas Komnenos. Panaretos dukker opp for første gang i 1351 når han refererer at han har reist sammen Irene av Trapezunt, moren til keiser Alexios III, til Limnia i Pontos mot opprøreren Konstantin Doranites. Hva som var Panaretos’ egentlige posisjon og oppdrag er usikkert, men han dukker ikke opp igjen før den trapezuntiske borgerkrigen var slutt. Da skriver han at han deltok sammen keiser Alexios III i et katastrofalt angrep på byen Şiran (Cheriana) hvor han med nød og neppe reddet livet. Etter dette refererer han til seg selv ved å bruke første person flertall når han registrerer hendelser i annalene. Han refererer ikke til seg selv med navn før en oppføring i april 1363 da han deltok i en delegasjon ledet av «megas logothetes» Georgios Scholaris som dro til Konstantinopel for å forhandle om ekteskap mellom en av Alexios III’s døtre og en av keiserens sønner, Johannes V Palaiologos. Delegasjonen møtte også andre i Konstantinopel, blant andre ekskeiser Johannes VI Kantakouzenos som var blitt munk.