Johan Daniel var som nevnt sønn av teolog og kartograf Melchior Ramus, men han var også bror til Joachim Frederik Ramus (1685–1769) som ble professor i matematikk ved Universitetet i København, og Christian Ramus (1687–1762) som var luthersk biskop i Fyns stift.