Das Gebiet von Brownfield wurde durch den Bundesstaat Massachusetts in drei Grants an Captain Henry Young Brown für seine Verdienste im Siebenjährigen Krieg in Nordamerika vergeben. Zu den Bedingungen des Grants gehörte, dass er bis Juni 1770 38 Familien ansiedeln sollte und die Siedlung drei Jahre später einen Priester haben müsste. Erste Rodungsarbeiten starteten 1765 und im Jahr 1787 wurde die Siedlung als "Brownfield Plantation" organisiert. Die Organisation als Town erfolgte am 20. Februar 1802. Benannt wurde Brownfield nach Henry Brown, dem Landeigentümer.