Jeremy nació en una familia judía de clase media-alta; su padre Arnold era médico y su madre una editora de libros, que desempeñaron servicios en la O.S.S.