Hans bror Frants Ramus (1766–1807) ble amtsforvalter i Nykøbing og far til matematikeren Christian Ramus (1806–1856).