Baker vant en olympisk sølvmedaje i boksing, i vektklassen mellomvekt (71,67 kg), under OL 1908 i London. Han tapte finalen til John Douglas fra Storbritannia. Det var ti boksere som stilte i mellomvekt-klassen. Baker var en allsidig sportsutøver og han deltok også som svømmer og stuper for Australasia under sommer-OL 1908.