Caldwell ble olympisk mester i roing under OL 1928 i Amsterdam. Han var med på den amerikanske åtteren som vant foran en britisk båt. Det amerikanske laget var sammensatt av roerne fra University of California. Mannskapet var roerne Marvin Stalder, John Brinck, Francis Frederick, William Thompson, William Dally, James Workman, Hubert A. Caldwell, Peter Donlon og Donald Blessing som var styrmann.