Holm Jølsen er også kjent for sine barn; Olaf Elias Jølsen, oberst i Festningsartilleriet, og forfatteren Ragnhild Jølsen. Ragnhild Jølsen (1875-1908) var hovedpersonen i boka av Jens Bjørneboe som ble utgitt i 1964.