Grimes ble olympisk mester i roing under Sommer-OL 1956 i Melbourne. Han var med på den amerikanske åtteren som vant konkurransen foran Canada og Australia. De andre roerne var Robert Morey, John Cooke, Donald Beer, Caldwell Esselstyn, Thomas Charlton, David Wight, Richard Wailes og William Becklean som var styrmann.