Olof Lagercrantz var sønn av bankdirektør Carl Lagercrantz og grevinne Agnes Hamilton. Hun medstammet i direkte nedstigende ledd fra skalden Erik Gustaf Geijer og han var datter til Hugo Hamilton.