Il est né à Belfort le dans une famille de militaires. Son grand-père, François Gabriel de Négrier, capitaine de vaisseau avant la Révolution et chevalier de Saint-Louis, avait fui la France sous la Terreur et s'était réfugié à Lisbonne. François-Gabriel est le père du futur général de division François-Marie-Casimir de Négrier, blessé à Waterloo et tué à l’entrée du faubourg Saint-Antoine pendant les journées de juin 1848. Son deuxième fils, le futur général de brigade Ernest Frédéric Raphaël de Négrier (1799-1892), né à Lisbonne, sera le père de François Oscar, et enlèvera aux Autrichiens le cimetière de Solferino en 1859.