John Randolph of Roanoke
反奴隷制の立場であっても協会員は公然と人種差別をしており、しばしば自由黒人はこの国で白人社会には融合できないと主張した。奴隷所有者のジョン・ランドルフは自由黒人を「厄介事の推進者」と呼んだ。当時約200万人のアフリカ系アメリカ人がアメリカに住んでおり、その内20万人は自由有色人だった。ケンタッキー州の連邦議員ヘンリー・クレイは南部経済における奴隷制の否定的要素を批判していたが、「その色からくる征服できない偏見故に、この国の自由白人とは決してうち解けられない」と考えた。