Müller startete für Zehlendorf 88 Berlin und trainierte dort unter Willi Duttke. Dieser formte mit Kurt Schmidt, Herbert Langkutsch und Müller eine 3-mal-1000-Meter-Staffel, die 1924 auf Anhieb Brandenburgischer Meister wurde. Mit Willy Schumann und Max Tarnogrocki schaffte Fredy Müller 1925 bei den Deutschen Meisterschaften, den Weltrekord für Vereinsstaffeln auf dieser Strecke in 7:44,5 min aufzustellen. Otto Peltzer, deutscher Rekordhalter über 800 Meter, wurde zu jener Zeit Müllers größter Konkurrent und beide nahmen neben Max Tarnogrocki und Hermann Engelhard an den IX. Olympischen Spielen 1928 in Amsterdam teil. Das mannschaftsinterne Duell mit dem Weltrekordmann über 880 Yards entschied Müller in 1:53,8 min für sich, schied als Sechster seines Halbfinals aber ebenso aus, wie der nach einem Mittelfußbruch noch nicht wiedergenesene Peltzer. 1928 noch Dritter, wurde Müller bei den Deutschen Meisterschaften 1929 im Endspurt – nach umstrittenem Zielfotoentscheid – Deutscher Meister vor Peltzer, diesen Titel verteidigte er bei den Meisterschaften im Folgejahr im Berliner Grunewaldstadion. Ebenfalls 1930 wurde er Studenten-Weltmeister bei den in Darmstadt ausgetragenen Wettkämpfen.