De første årene holdt instituttet til i Oslo, men ble i 1980 etablert nær gamlebyen i Fredrikstad. I 2013 ble bygget solgt for 15 millioner kroner til Fredrikstad kommune. I perioden 2014–2021 leide virksomheten lokaler i Litteraturhuset i Fredrikstad. I 2021 flyttet IJ inn i Pressens Hus i Oslo.