I juli 1970 skilte Shirer seg fra sin første kone. De siste årene bodde han i Lenox i Massachusetts med sin andre kone, Irina Lugovskaja. Shirer døde på et sykehus i Boston da han var 89 år. I sine erindringer skrev han om livet sitt at «jeg er glad det var mitt».