Madison ble olympisk mester i svømming tre ganger under OL 1932 i Los Angeles. Hun vant både 100- og 400 meter fri for kvinner. På 100 meter fri fikk hun tiden 1.06,8 som var ny olympisk rekord og et sekund raskere enn nederlandske Willy den Ouden som kom på andreplass. På 400 meter fri satte hun ny verdensrekord 5.28,5. Madison var også med på det amerikanske stafett-laget som vant 4 x 100 meter fri foran Nederland. De andre på laget var Helen Johns, Josephine McKim og Eleanor Saville.