Carothers takket først ja til et idrettsstipend for å spille basketball for University of Iowa. Han byttet til Bradley University og spilte amerikansk fotball, basketball og løp for skolelaget Braves. Han spilte på basketballaget som vant NIT-tittelen i 1957. Han ledet også laget i mottakelser og punting i amerikansk fotball som senior. Han ble senere innlemmet i Bradley University Athletic Hall of Fame.