I januar 2009 ble han lånt ut til klubben Hereford Utd, hvor han debuterte i ligamesterskapet. Han spilte tilsammen 18 ligakamper for denne klubben. Høsten 2009 skrev Gulácsi under på en forlengelse av sin daværende kontrakt med Liverpool FC, denne gangen helt frem til sommeren 2013. På våren 2010 var han på utlån hos Tranmere Rovers, hvor han kun fikk fem kamper. Høsten 2010 gikk han på nytt lån til Tranmere og fikk 12 seriekamper pluss 2 JP Trophy cup-kamper. Han avsluttet det siste låneoppholdet i Tranmere med å bli kreditert et selvmål. Og mens Liverpools 2.-keeper Brad Jones var opptatt med å slite reservebenken til Australia under Asiamesterskapet i januar 2011 fikk Gulácsi tilliten som reservekeeper på Liverpools a-lag.