Ramsrud var gift med Valborg Skår (født på Eina), som stammer fra en kunsterfamilie i Hardanger. De var bosatt i Kolbu i Østre Toten.