Josef Hrabal s atletikou začínal v Šumperku. V roce 1977 se zúčastnil juniorského atletického mistrovství Evropy, kde obsadil ve skoku do výšky sedmé místo. Téměř na konci sezóny, dne 25. září 1977, při posledním kole celostátní atletické ligy v Praze, skočil 220 cm. Následujícího roku se stal mistrem Československa ve skoku do výšky v hale i na dráze. Na základě dobrých výkonů byl nominován na Mistrovství Evropy v atletice 1978 v Praze, kde se probojoval do finále a výkonem 218 cm obsadil osmé místo. Dne 8. října 1978 na závodech v Mnichově skočil 223 cm a poprvé tak překonal československý rekord ve skoku do výšky.