Fritz Isser stammt aus einer Familie erfolgreicher österreichischer Bob- und Rodelsportlern. Zur Familie gehörten zudem Heinrich, Franz, Maria, Paul und Josef Isser. Er feierte seinen größten internationalen Erfolg bei der Bob-Weltmeisterschaft 1962 in Garmisch-Partenkirchen, als er gemeinsam mit seinen Brüdern Josef, Heinrich und Franz die Bronzemedaille gewann.