2005 nahm er mit der U-20-Nationalmannschaft an der Junioren-Weltmeisterschaft in den Niederlanden teil. Er kam beim Vorrundenaus in allen drei Partien zum Einsatz und wird im "Technischen Bericht" als „technisch versierter Mittelfeldspieler“ und „Ausgangspunkt zahlreicher gefährlicher Angriffsaktionen“ hervorgehoben. Von Auswahltrainer Graham Arnold wurde Celeski für das Olympische Fußballturnier 2008 in China nominiert. Im Januar 2009 debütierte er gegen Indonesien in der australischen A-Nationalmannschaft.