Originario di Munster in Vestfalia, quinto dei sei figli di Rudolf Kluck, funzionario governativo, e di sua moglie Betty, Alexander non era quindi di origini nobiliari e raggiunse i suoi brillanti risultati nella carriera soprattutto grazie alle sue capacità e alla sua determinazione. Entrato nell'Esercito prussiano nel 1865, l'anno seguente partecipò con il grado di tenente alla guerra austro-prussiana del 1866, distinguendosi in vari combattimenti. Durante la guerra franco-prussiana svolse il compito di comandante di compagnia nel VII corpo d'armata vestfaliano e rimase ferito alla battaglia di Colombey, ricevendo per il valore la Croce di ferro.