Josef Sterff stammt aus dem oberbayerischem Ohlstadt, einer Gemeinde im Landkreis Garmisch-Partenkirchen, von Beruf war er Metzger. Da Ohlstadt zu den Gemeinden gehört, in denen der Wintersport, insbesondere der Bobsport, eine bedeutende Rolle spielt, interessierte sich auch Josef Sterff für diese Sportart. Er wurde Mitglied des SV Ohlstadt und wählte innerhalb des Bobsportes den Viererbob zu seiner bevorzugten Disziplin. Er wurde Mitglied in der Mannschaft von Franz Schelle, mit der er bald an nationalen und internationalen Wettkämpfen teilnahm. Erster großer Erfolg war der zweite Platz im Viererbob bei den Deutschen Meisterschaften 1958 in der Besetzung Schelle, Eduard Kaltenberger, Sterff und Otto Göbl. Die Nominierung für die Bobweltmeisterschaften 1958 rechtfertigten die vier mit dem Gewinn der Vizeweltmeisterschaft hinter dem Bob Deutschland I mit Hans Rösch. Es folgte der dritte Platz und Gewinn einer Bronzemedaille bei den Bobweltmeisterschaften 1959 in St. Moritz in der Besetzung Schelle, Sterff, Hartl Geiger und Göbl. Im Jahre 1962 war Schelles Bobmannschaft besonders erfolgreich; Zunächst wurden sie Deutscher Meister und danach gelang ihnen in der Besetzung Schelle, Sterff, Ludwig Siebert und Göbl bei den in Garmisch-Partenkirchen ausgetragenen Bobweltmeisterschaften im Viererbob der Sieg und damit der Gewinn der Goldmedaille. Den deutschen Meistertitel verteidigten sie 1963. Ein weiterer Höhepunkt seiner Karriere wurden die Olympischen Winterspiele 1964 in Innsbruck, mit seinem Piloten Franz Schelle und den Anschiebern Otto Göbl und Ludwig Siebert wurde er im Bob Deutschland I Fünfter, dabei erzielten sie Laufbestzeit im zweiten Durchgang.