Andronikos war noch ein Kind, als sein Vater nach dem Ausbruch des Byzantinischen Bürgerkriegs 1342 von Johannes VI. als "Strategos" von Didymoticho eingesetzt wurde. Der Kaiser gab den Knaben in die Obhut seines Großvaters mütterlicherseits "Theodoros Synadenos", der mit ihm in das von Zeloten beherrschte Thessaloniki zurückkehrte. Später lebte Andronikos wieder bei seinem Vater Manuel, der seit 1344 als "Kephale" (Gouverneur) des Westens in Bizye amtierte.