Albert vokste opp i småbyen Hercegszántó, nær grensen til det tidligere Jugoslavia. Da familien flyttet til Budapest, begynte han å spille fotball i Ferencváros, byens mest populære klubb.