Андроник се родио крајем 1259. или почетком 1260. године као друго дете у касније бројној породици Михајла VIII Палеолога и Теодоре Дукаине Ватацине, рођаке никејског цара Јована III Дуке Ватаца. Михајлово и Теодорино најстарије дете и први син, Манојло Палеолог умро је као дечак 1259. Византијска војска је 25. јула 1261. године одузела Латинима Цариград који је био у франачким рукама још од Четвртог крсташког похода 1204. године. Михајло VIII, у то време још увек савладар младог Јована IV Дуке Ласкариса, је 15. августа свечано ушао у ослобођени Константинопољ и крунисао малог Андроника II за свог савладара. Након тога злосрећни Јован IV је уклоњен тако што је ослепљен и конфиниран у манастир. Тиме је нова династија Палеолога сменила претходну владарску кућу Ласкариса. Међутим, патријарх Арсеније (1255—1259, 1261—1267.) је због ослепљивања Јована IV анатемисао новог цара којије узвратио 1267. тако што је сменио јогунастог патријарха и на његово место довео Јосифа I (1267—1274). Иако је Арсеније убрзо након смене преминуо, унутар цркве се убрзо појавила струја која је одбила да призна Јосифа за патријарха и која се почела називати "арсенитима". Међу њима је нарочито било бројно свештенство из Мале Азије верно успомени на династију Ласкариса.