Johan C.G. Hvoslef var sønn av sorenskriver Jens Hvoslef og hustru Elisabeth Christine Mejlænder og bror av biskop Fredrik Waldemar Hvoslef som er kjent fra Kautokeino-opprøret. Han ble i 1865 gift med Amalie Eline Weidemann fra Holmestrand.