Cooke skrev sangen som en protestsang mot raseskille som var inspirert av flere hendelser i hans private liv, deriblant en hendelse i desember 1963 hvor han og hans kone ble nektet inngang på et Holiday Inn-hotell i Shreveport, Louisiana på grunn av sin hudfarge, til tross for at de hadde bestilt rom i forveien. Etter at Cooke nektet å forlate hotellet ble han anholdt av politiet for ordensforstyrrelse.