Han var sønn av skipsfører Stian Lydersen (1882–1939) og Lene Marie Andersen (1886–1978) og ble gift i 1947 med cand.pharm. Ragnhild Haugen (28. desember 1919–8. mai 1998), datter av lektor Gustav Theodor Haugen (1880–1966) og Helga Dyblie (1893–1986).