Varzegi kom till Sverige efter det ungerska upproret 1956 mot Sovjetunionen. Han blev där en av Sveriges mest framgångsrika tränare i tre decennier. När han kom till Sverige hamnade han först i ett flyktingläger i Söderköping där han mötte två fotbollsspelare från IFK Norrköping, Einar Steen och Knut Nordahl. Varzegi tränade IFK Norrköping mellan 1957 och 1962 och tillsammans med en annan Norrköpingslegend Georg 'Åby' Ericson ledde han Norrköping till tre allsvenska guld.