Phil Anderson wuchs in Kew, einem Vorort von Melbourne im australischen Bundesstaat Victoria auf. Nachdem er im Alter von 20 Jahren die Goldmedaille im Straßenrennen der Commonwealth Games 1978 errungen hatte, wechselte er 1980 zu den Profis.