Alfredsen ble regnet som en sikker kandidat til å få delta i OL i Cortina d'Ampezzo i 1956, men under trening i Gråkallbakken i Trondheim høsten 1955 falt han og brakk beinet. Han hoppet igjen sesongen etter, men fikk ikke like gode resultater som tidligere, og la opp som skihopper et par år etter fallet.