Han ble født i Rostock, Tyskland, som sønn av den tyske dirigenten Hans Schmidt-Isserstedt. Hans jødiske mor tok ham med fra Tyskland i 1936, sammen med broren hans. De ble oppdratt i England. Han fikk sin høyere utdanning ved Corpus Christi College, Cambridge. Gjennom sitt vennskap med den amerikanske pianisten Julius Katchen, sluttet han seg til Decca-selskapet som plateprodusent, som også spilte inn flere arbeider med kjente musikere som for eksempel John Culshaw og Gordon Parry.