Se dice que el diseño del IHÉS fue influido en parte por Robert Oppenheimer, que era entonces el director del Instituto de Estudios Avanzados de Princeton.