Ifield ble født i Coventry, men familien flyttet tidlig til Dural, et landlig strøk utenfor Sydney i Australia. Ifield ble tidlig opptatt av musikk, og skulket skolen for å fortsette musikkarrieren sin. I 1953 fikk han som femtenåring kontrakt med EMI Australia. Han hadde suksess i hjemlandet i en god stund før han i 1960 fikk kontrakt i Storbritannia. Hans første sang i Storbritannia var «Lucky Devil», som nådde 22.-plass. Deretter fulgte flere ikke fulgt så store suksesser før han hadde en stor hit med «I Remember You», som lå på topp i syv uker i 1962. Det ble også den nest største hiten i Storbritannia i 1962.