George Custer est né en 1839, dans l'Ohio, aux États-Unis. Il est le fils aîné d'Emanuel Henry Custer (1806–1892), forgeron devenu par la suite fermier, descendant d'immigrants allemands Paulus et Gertrude Küster (venue de Rhénanie en 1693), et de Marie Ward Kirkpatrick (1807–1882), d'origines irlandaises. Ses frères Thomas Custer et sont tous les deux morts avec lui sur le champ de bataille de Little Bighorn. Il a pour sœur cadette Margaret Emma Custer et plusieurs demi-frères et sœurs plus âgés que lui.