Ramel var sønn av rittmesteren friherre Hans Fredrik Ramel (1845-1892) og Carolina Alexandrina von Troil (1851-1917). Han ble gift i 1899 med friherrinnen Ida Louise Elisabeth von Essen (1878-1950), datter til sendemannen, greve Hans Henrik von Essen (1835–1894) og Jaquette, født Gyldenstolpe (1841-1917).