Վիկտոր Հյուգոն եղել է երեք եղբայրներից կրտսերը (ավագ եղբայրները՝ Աբել (1798-1865 թթ.) և Եվգենի (1800-1837 թթ.))։ Գրողի հայրը՝ Ժոզեֆ Լեոպոլդ Սիգիսբեր Հյուգոն (1773-1828 թթ.), նապոլեոնյան բանակի գեներալ էր, իսկ մայրը՝ Սոֆի Թղեբյուշեն (1772-1821 թթ.)՝ նանտյան նավատիրոջ աղջիկը, դաշնակահարուհի էր։