Utviklingen av M109 begynte i 1952 da den amerikanske hæren ba om en ny selvdreven haubits for å erstatte M44 selvdreven haubits. Til å begynne med ville man bruke en 156 mm haubits, men for å holde bestykningen NATO-kompatibel, bestemte man seg i 1956 for å benytte en 155 mm haubits. I 1959 var den første prototypen ferdig, under betegnelsen . En del problemer måtte fremdeles utbedres, og samtidig bestemte hæren seg for at kjøretøyet skulle utstyres med en dieselmotor for bedre rekkevidde, noe som førte til en ny prototype med betegnelsen . Denne ble akseptert i 1961 og satt i begrenset produksjon fra oktober 1962. I 1963 ble den standardisert som og i juni samme år ble de første haubitsene tatt i bruk av den amerikanske hæren.