Han var gift med Julie Louise Augusta Prytz Thallaug, og sammen hadde de seks barn, Gulbrand Thallaug, Harald Thallaug, Haakon Thallaug, Ingeborg Thallaug Arvesen, Erik Thallaug og Anne Marie Thallaug Storvold.