Andronikos Nestongos war ein Angehöriger der Familie der "Nestongoi", die in den byzantinischen Quellen zuerst im 11. Jahrhundert erscheint. Seine namentlich nicht bekannte Mutter war eine Tochter des "Isaak Dukas Angelos", dessen Mutter "Theodora Komnena" die jüngste Tochter des Kaisers Alexios I. Komnenos und der Irene Dukaina war. Die Familie emigrierte nach der Eroberung Konstantinopels durch die Kreuzfahrer im April 1204 zusammen mit anderen bedeutenden Aristokratenfamilien nach Bithynien. Im Kaiserreich Nikaia nahmen sie bald führende Positionen in der Verwaltung ein.