Under ungsomsårene var den sportslig anlagte Andronikos så voldelig at hans bestefar etter farens død i 1320 ekskluderte ham fra tronfølgen. Andronikos gjorde opprør mot dette. Han gjorde byen Didymoticho som sin tilbaketrukne sikre base mot Konstantinopel.