Brady vant en olympisk bronsemedalje i fotball under OL 1904 i St. Louis. Han var med på det amerikanske laget , som kom på tredjeplass i fotballturneringen bak det canadiske laget og fra USA. tapte første kampen med 0-4 til det canadiske laget som også vant over det andre amerikanske laget, , med 7-0 og ble olympiske mestere i fotball.