Irvine ble født og oppvokst i Melbourne, Australia, hvor han gikk på The Knox School. Han spilte også for klubber i Victorian League strukturen. Under oppveksten møtte Irvine Curtis Good da "de begge var ti år gamle, bodde to minutter fra hverandre og vokste opp sammen". De "deltok også i terrengløp sammen, spilte for Knox City (i Melbourne) som juniorer". Han vant Frankston Pines' spiller av året-prisen i 2009, hans første sesong i seniorklassen.