Το 1854, την εποχή του Κριμαϊκού Πολέμου, ιδρύθηκε ο στρατώνας του Όλντερσοτ που χρησιμοποιήθηκε ως η πρώτη μόνιμη εγκατάσταση για τον Βρετανικό Στρατό. Το γεγονός αυτό οδήγησε στην ταχεία αύξηση του πληθυσμού του Όλντερσοτ από 875 άτομα το 1851 σε πάνω από 16.000 το 1861 (περίπου 9.000 ήταν οι στρατιωτικοί). Η Λουίζα Ντάνιελ μετακόμισε στην πόλη την εποχή αυτή και ίδρυσε τον Οίκο του Στρατιώτη αλλά και ένα ίδρυμα το οποίο φρόντιζε για τις πνευματικές ανάγκες των στρατιωτών και των οικογενειών τους. Η διαδήλωση του Όλντερσοτ τον Ιούλιο του 1945 προκάλεσε σημαντικές καταστροφές στο κέντρο της πόλης όταν εξοργισμένοι Καναδοί στρατιώτες διαδήλωσαν στους δρόμους της πόλης για δύο απογεύματα.