Nach dem Attentat auf Heydrich in Prag und seinem Tod eine Woche später am 4. Juni 1942 lebte Lina Heydrich mit ihren Kindern bis 1945 weiterhin auf dem Schloss, das sie erst kurz vor der anrückenden Sowjetarmee auf persönlichen Ratschlag Heinrich Himmlers in Richtung Bayern verließ. Ihr zur Verfügung gestellte jüdische Zwangsarbeiter behandelte sie schlecht. Nach späteren Zeugenaussagen habe sie die Arbeiter mit einem Fernglas beobachtet und diejenigen, die ihr zu langsam arbeiteten, von SS-Wachen peitschen lassen. „Jüdische Zwangsarbeiter, deren Verhalten ihr nicht gebührend respektvoll erschien, bespuckte oder schlug sie.“ Die jüdischen Zwangsarbeiter wurden 1944 gegen Nichtjuden ausgetauscht und in Vernichtungslager deportiert.