Olof Lagercrantz vokste opp i Falköping i Västra Götalands län. Den tid han tilbragte i Falköping ble formørket av morens depresjonssykdom og senere også av en søsters selvmord. Olof Lagercrantz var bror til Ebba Lönnroth, forfatteren Lis Asklund og professor i medisin Rutger Lagercrantz , og halvbror til Arvid Lagercrantz.