Walter Kempowski ble født den 29. april 1929 i Rostock som sønn til skipsreder og -megler Karl Georg Kempowski og kjøpmannsdatteren Margarethe Kempowski, født Collasius. Fra 1935 gikk han på gutteskolen St. Georg og fra 1939 på realgymnas.