Anne Pepin var datter av den franske kirurgen Jean Pépin og sigareen Catherine Baudet og søsteren til Nicolas Pepin (ca. 1744-1815), og drev en betydelig forretningsvirksomhet. Hun tilhørte den afro-franske befolkningen i Gorée, en privilegert kategori i de franske besittelsee bestående av etterkommere av franske fedre og afrikanske mødre. De ble gitt eiendom på øya av sine franske fedre og franske myndigheter og som spilte en viktig rolle i næringsvirksomheten i regionen. I 1774 bygde hennes bror huset som senere ble øyas slavemuseum, , et steinhus med varehus i kjelleren som lagret oppbevarte for overfarten i den transatlantiske slavehandelen.