De første årene var Raftostiftelsen basert ved Norges Handelshøyskole. Raftostiftelsen flyttet imidlertid til Menneskerettighetshuset i Bergen i 1997. Menneskerettighetshuset i Bergen ble etablert til minne om Thorolf Raftos sønn, Egil Rafto. Huset ble offisielt åpnet av Ang San Suu Kyis sønn, Kim Aris i 1999. I tillegg til Raftostiftelsen har Amnesty International lokaler på Menneskerettighetshuset i Bergen.