Auch im Klubfußball feierte Hans Krankl zahlreiche Erfolge. Seine Karriere startete er beim KSV Straßenbahn Wien. 1970 war er eine halbe Saison beim SK Rapid Wien, bei dem er allerdings, wohl auch aufgrund seiner Jugend, kaum zum Einsatz kam. Nach einem Wechsel für eine Saison zum Wiener AC, bei dem er mit 27 Toren in 26 Spielen als gefährlicher Torjäger auf sich aufmerksam machte, kehrte er 1972 zu Rapid zurück. Mit dem SK Rapid gewann er 1976 den österreichischen Pokal und wurde drei Mal Ligatorschützenkönig. 1978 gewann er mit 41 Saisontreffern den Goldenen Schuh als bester Torschütze Europas. Nachdem er auch bei der Fußball-Weltmeisterschaft 1978 mit starken Auftritten geglänzt hatte – er trug unter anderem mit zwei Toren zum legendären Sieg Österreichs gegen Deutschland in Córdoba bei – wurde er vom FC Barcelona verpflichtet. Die Ablöse betrug damals kolportierte 700.000 $ (nach damaligem Wechselkurs 10,5 Millionen Schilling bzw. 1,5 Millionen DM).