Prohaska begon zijn professionele carrière in 1972 bij FK Austria Wien. In acht jaar tijd won Prohaska met zijn club vier landstitels en drie keer de Beker van Oostenrijk. In 1980 vertrok hij naar Internazionale. In zijn tweede seizoen won hij met Internazionale de Supercopa. Daarna speelde hij bij AS Roma. Hiermee won hij in 1983 de Italiaanse landstitel. Na het behalen van deze titel keerde hij weer terug bij Austria Wien. Bij deze club beëindigde Prohaska zijn spelersloopbaan in 1989.