Toller ble olympisk mester i cricket i OL 1900 i Paris. Han var med på det britiske laget som beseiret det franske cricketlaget med 262-104 i finalen, en finale som gikk over to dager. Cricket var med som en del av verdensutstillingen i Paris og det var først tolv år senere, i 1912 at International Olympic Committee besluttet at cricketkampen, det var kun en kamp som ble spilt, inngikk som en del av det olympiske programmet. Det er eneste gangen cricket har vært med som olympisk sport.