Hans politiske karriere startet i 1931 da Herter ble valgt inn hos Massachusetts House of Representatives, hvor han satt frem til 1942. Herter ble deretter medlem av Representantenes hus i perioden 1943–1953. Her utmerket han seg for sitt syn på utenrikspolitikken, og spesielt for sitt initiativ til den såkalte Herter Committee i 1947, som lå til grunnlag for forslagene som til slutt ledet til Marshallplanen.