Leslie Richard (Dick) Groves Jr. blev født i Albany, New York, den 17. august 1896. Han var tredje søn af en søskendeflok på fire efter pastor, Leslie Richard Groves, Sr og dennes kone Gwen født Griffith. Faderen var efterkommer efter franske huguenotter, som kom til Amerika i 1600-tallet. Leslie Groves, Sr tog sin afsked som præst for Sixth Presbyterian church i Albany i december 1896 for at blive præst i United States Army. Han blev stationeret ved 14. infanteriregiment i Vancouver Barracks i staten Washington i 1897. Efter udbruddet af den spansk-amerikanske krig i 1898, blev pastor Groves sendt til Cuba med 8. infanteriregiment. Da han kom tilbage til Vancouver Barracks fik han ordre til at slutte sig til 14. infanteriregiment i Filippinerne. Der fulgte tjeneste under den Filippinske-Amerikanske Krig og Bokseropstanden. 14. infanteriregiment kom tilbage til USA i 1901 og flyttede til Fort Snelling i Minnesota. Familien flyttede med fra Vancouver, og flyttede derefter til Fort Hancock, New Jersey, det følgende år inden den vendte tilbage til Vancouver i 1905. Pastor Groves kom på hospitalet med tuberkulose på Fort Bayard i 1905. Han besluttede at slå sig ned i det sydlige California og købte et hus i Altadena. Hans næste post var på Fort Apache i Arizona. Familien tilbragte somrene der, og tog tilbage til Altadena hvor børnene gik i skole.