Carroll ble olympisk mester i rugby union for andre gang under OL 1920 i Antwerpen. Han var med på det amerikanske laget som vant rugby union. Det var kun to lag som deltok, USA og Frankrike. Det ble kun spilt en kamp, USA vant kampen mot Frankrike med 8-0. Tolv år tidligere, under OL 1908 i London var han med laget fra Australasia som vant olympisk gull i rugby union.