Jeho bratři Thomas Custer a Boston Custer zemřeli společně s ním v Bitvě u Little Bighornu, stejně jako jeho švagr a synovec. Měl ještě dva další sourozence, kterými byli Nevin Custer a Margaret Custer, dále měl ještě několik sourozenců nevlastních. Jeho rodina z otcovy strany pocházela z Vestfálska v Německu. Emigrovali do Ameriky v 17. století. Původní příjmení rodiny bylo „Küster“. On sám společně se svými bratry představovali pátou generaci potomků Němce Arnolda Küstera z Kaldenkirchen v Severním Porýní-Vestfálsku, který imigroval do Hanoveru v Pensylvánii.