Steven Holl ble kontaktet om et senter for Knut Hamsun allerede i 1994. Han reiste til Hamarøy og tegnet raskt en akvarellskisse som er nokså lik slik bygget ser ut i dag. Prosjektet var meget kontroversielt; Morgenbladet omtalte på et tidspunkt Hamsunsenteret som «Norges mest omdiskuterte ikke-eksisterende bygg». Opprinnelig var Hamsunsenteret tenkt oppført ved Knut Hamsuns barndomshjem i Hamsund, men fylkestinget besluttet i 1997 å flytte prosjektet 5 km mot øst, til Presteid, der Knut tilbragte flere år av barndommen hos sin onkel.