Breyer ble olympisk mester i svømming under OL 1924 i Paris. Han var med på det amerikanske stafettlaget som vant 4 x 200 meter fri med tiden 9.53,4, som var ny verdensrekord og nesten ni sekunder raskere enn sølvvinneren Australia. Det var totalt 57 svømmere fra 13 nasjoner som deltok i stafetten som ble avviklet 18. og 20. juli. Svømmerne på det amerikanske laget var Breyer, James O'Connor, Harrison Glancy og Johnny Weissmuller.