Han kom til Liverpool fra LASK Linz 22. august 2005 og signerte en 2-årskontrakt med Merseyside-laget. Idrizaj var plaget med skader i 2005/06-sesongen, men ble sendt på lån til Luton Town fra mars 2007 og ut sesongen. Idrizaj imponerte i en treningskamp for Liverpool 7. juli 2007 ved å skåre et ekte hat-trick mot Wrexham på kun 22 minutter da Liverpool vant 3-2.