Calhoun College (etablert 1933) ved Yale University har navn etter Calhoun som var utdannet ved Yale. Da Yale fikk flere svarte studenter på 1960-tallet ble navnet et tema for offentlig debatt. Et glassmaleri som viste Calhoun med en knelende slave i lenker ble kritisert på 1990-tallet, og da ble slaven fjernet fra bildet. Det har også vært foreslått å endre navn på colleget, Edward Bouchet er et alternativ til nytt navn.