Ragnvald Hvoslef tilhørte slekten Hvoslef, bror av OL-roeren Einar Hvoslef. Ragnvald ble gift i 1896 med Ingeborg Dagny Gulbranson (1875–1963), datter av Carl August Gulbranson (1831–1910) og Minda Ramm Juell (1844–1913). Han var svoger til Alfred P. Wright og onkel til Carl P. Wright.