Signe Swensson var ugift. Hun hadde en yngre bror, Nils Victor Swensson, som også ble lege og høyrepolitiker i Trondheim.