Das Areal wurde am 8. Juni 1763 durch Benning Wentworth zur Besiedlung ausgerufen, gehörte bis zur Gründung Vermonts 1777 zum Bundesstaat New Hampshire, wurde aber erst ab 1782 dauerhaft bewohnt. Zu den ersten Siedlern gehörten William Irish, Leonard Owen, Amos Mansfield, Absalom Taylor und Thomas Dewey. Seinen Namen erhielt es nach einem Verwandten Wentworths, William Fitzwilliam, dem Viscount Milton. Der Grant für Milton umfasste eine Fläche von 23.040 acres (etwa 93 km²). Viele der frühen Aufzeichnungen über Milton sind in der Neuengland-Flut von 1927 verloren gegangen.