Rowley startet sin karriere i 1935 hos Wolverhampton Wanderers, men fikk aldri plass på laget. I 1937 flyttet han til Bournemouth & Boscombe, der han scoret ti mål på sine elleve første kamper. Dette fikk Manchester United til å sperre øynene opp for talentet, og høsten 1937 ble han kjøpt av Manchester-klubben for 3 000 pund. Han var fremdeles bare 17 år gammel, men allerede i sin andre kamp for klubben, mot Swansea Town, scoret han fire mål.