27 февраля 1800 года поселение получило статус малого города ("town"). Своё современное название город получил по имени Оливера Эллзуэрта (1745—1807), представителя Коннектикута на Филадельфийском конвенте. 27 февраля 1869 года статус Элсуэрта был повышен до города ("city"). Имеющийся на реке Юнион уклон позволил стать Элсуэрту крупным центром электроэнергетики штата, что, в свою очередь, способствовало бурному росту местной промышленности. В начале XX века на предприятиях Элсуэрта производили пиломатериалы, обувь, шерстяные изделия, паруса, вагоны, изделия литейного производства и другие товары. Функционировал рыбоводный завод. 7 мая 1933 года сильный пожар разрушил деловой центр города, при этом пламенем было уничтожено более 100 домов.