На клубном уровне в 1950—1956 годах выступал за венский «Рапид», с которым трижды становился чемпионом. За национальную провёл 19 игр, в которых забил 18 мячей. В матче против на чемпионате мира 1954 года, который его сборная выиграла 5:0, отметился хет-триком. Всего на том чемпионате Эрих забил шесть голов, благодаря чему делил второе место вместе с Максом Морлоком из и Йозефом Хюги по этому показателю, уступая только бомбардиру Шандору Кочишу. Последним для Пробста матчем в сборной стала встреча 27 марта 1960 года против в рамках отборочного турнира к первому чемпионату Европы.