Ojciec Józefa Przybyły, Antoni, pochodził z Brennej, gdzie przed wybuchem II wojny światowej istniały dwie skocznie narciarskie, i gdzie w okresie przedwojennym jeździł na nartach. Poślubił potem Karolinę Halamę. Starszy brat Józefa, Władysław, skakał na nartach i nauczył brata jeździć i skakać, łącząc te dyscypliny z konkurencjami alpejskimi. W Bystrej, gdzie Przybyła się wychowywał, w połowie lat 50. powstał klub narciarski, wybudowano także skocznię na tzw. Kozoku. Pierwszy skok oddał w 1956, w wieku 11 lat, na drewnianych jesionowych deskach. Jego pierwszym trenerem był Stefan Nikiel. W młodzieżowych mistrzostwach Polski w konkurencjach klasycznych, które odbywały się w Zakopanem w dniach 16-20 lutego 1961, był 5. w grupie młodzików. W 1962 należał już do czołówki klubowych skoczków i jako widz, oglądał mistrzostwa świata w Zakopanem.