Peter Lassally ble født inn i en jødisk familie i Hamburg, Tyskland i 1933. I 1938 flyttet familien til Nederland før den andre verdenskrig begynte. I Amsterdam delte hans eldre søster klasserom med Anne Frank. I 1943 ble han sammen med sin mor og søster satt i konsentasjonsleir i litt over to og et halvt år under den andre verdenskrig. Først 1 og et halvt år i Westerbork i Nederland, men ble senere flyttet til Theresienstadt i Tsjekkoslovakia(nåværende Tsjekkia), der de var i 9 måneder.