Axelsson Lindblom giftet seg i 1780 med Gunilla Margareta Fondin (1757–1783) som var datter til hans daværende kollega ved biblioteket, Berge Frondin og Charlotta Haijock. I dette ekteskapet ble Lars Axel født, han ble kammerherre. Etter den første hustruens bortgang giftet Lindblom seg igjen i 1784 med Sofia Ulrica Söderberg (1757–1830), datter til en regimentsfeltskjærer. Med henne fikk han sønnen Gustaf Adolf, som ble major.