Bebyggelsen på øya karakteriseres av de store kontrastene mellom slavekvarterene og slavehandlernes elegante boliger. Øya er særlig kjent for det rødfargede (), som ble bygd ca. av en mestisfamilie. Selv om øya bare er ett av mange deportasjonssteder for afrikanske slaver og bare ett av flere hus på Gorée, har øya og huset fått en betydelig symbolsk rolle. «», er et utsagn som blir gjengitt i TIME Magazines reportasje herfra.