Goulding gehörte bei der U-17-WM 1999 in Neuseeland zu den Stammspielern der australischen Mannschaft, die überraschend bis in das Finale vorstieß und dort erst im Elfmeterschießen Brasilien mit 7:8 unterlag (Goulding verwandelte einen Elfmeter). 2001 war er während der Qualifikation zur Junioren-WM in Argentinien Teil des australischen U-20-Kaders, für die Endrunde wurde er jedoch nicht nominiert.