Han var sønn av pedagogen Herman Ruge (1883–1976) og var lokalpolitiker for SV. Han var gift med forsker og fredsaktivist Mari Holmboe Ruge.