Fra 1821 var grev Neipperg gift i morganatisk ekteskap med Marie Louise, som gav ham to barn. Den eneste overlevende sønnen fra dette ekteskapet, Wilhelm Albrecht, greve av Montenuovo, ble født 9. august 1821. Han ble i 1864 opphøyet til fyrste av Montenuovo. Grev Neippergs eldste sønn fra første ekteskap, Alfred August Karl Franz Camillus, greve av Neipperg, født 26. januar 1807, var fra 1842 gift med prinsesse Maria Friederike Charlotte av Württemberg og døde 16. november 1865.