パサマクォディ族インディアンの歴史に拠れば、エルスワースのある地域にはパサマクォディ族とペノブスコット族インディアンが住んでいた。「両部族はアルゴンキン語族として密接だったが、人類学者は一般にパサマクォディ族を言語的にマリシート族と結び付け、ペノブスコット族はアベナキ族と結び付けている。」ジョージ・J・バーニーが1886年にボストンで出版した『メイン州の地名辞典』の「ハンコック郡」の部では次の様に書かれている。ペノブスコット湾とペノブスコット川について初めてはっきりと言及したヨーロッパ人は、1556年のフランス人探検家アンドレ・セベットだった。イングランド人探検家のマーティン・プリングとウェイマス船長が1603年と1605年に湾岸を航海し、フランス人デモンが1604年と1605年に海岸の一部を探検した。ウェイマスの遠征隊に居た歴史家ロジエがディア島サラフェアを探検し、ブルックスビルの目立つ岬で泊まり、そこはロジエ岬と呼ばれるようになったという伝承がある。彼らはそこをインディアン部族が占有しているのを見い出した。インディアンはパサマクォディの水域の者達と共にカヌーで長距離を移動することが注目された。それらインディアンの一般的な名前はエテクミンだった。デモンはフランス国王の名で権利主張し、カトリックの様式に従って十字架を立て、その国を「アカディ」と呼んだ。1759年にジェームズ・ウルフ将軍によってケベックが落とされるまで、この名によりこの国が続くことになった。ウェイマスが1605年に来た時、彼も国王ジェームズ1世の名でこの地の権利を主張した。こうしてヨーロッパの二大勢力がハンコック郡地域の権利を主張して対抗することになり、戦争状態が続いたために、メイン州の植民地時代を通じて未開の荒野の状態が続くことになった。1613年、フランスがマウントデザート島のサムズサウンドで植民地を設立した可能性がある。マダム・ド・ゲルシェビルの庇護下にエルスワース地域と現在のユニオン川流域となっている場所を探検した。バーニーは、エルスワースに近い所にある種のフランス人開拓地があったと考えている。例えばトレントン、オークポイント、ニューベリーネック、サリーなどである。17世紀を通じ、さらに18世紀に入ってもエルスワースの地域はイングランドとフランスの間で所有権を巡って争われた。イングランド人からフレンチ・インディアン戦争と呼ばれる間歇的な戦争にも発展した。インディアンはローマ・カトリックに改宗した者もおり、フランスと同盟してイギリスと戦ったが、それも1759年にケベック市が陥落するまでだった。イギリス、フランス、スペイン、ポルトガルが調印した1763年のパリ条約以後、エルスワースはマサチューセッツ湾直轄植民地の一部となった。エルスワースの近代史は1763年頃にユニオン川地域の開拓地に、現在の南メインとニューハンプシャー州から起業家ベンジャミン・ミリケンとベンジャミン・ジョイが率いるイングランド人の一隊が入ったことで始まった。彼らは地域の木材と水力を生かすためにダムと製材所を建設した。マサチューセッツ植民地がハンコック郡地域への入植を奨励するために提供した土地払下げに応募した。歴史家のアルバート・H・デイビスは、1927年にルイストンで出版した著作『エルスワースの歴史』の中で、この初期遠征と現在のウォーター通り北端の点として知られるものに言及し、ユニオン川を渡す橋のすぐ南を開拓者が建てた初期の原始的な建物があった場所としている。ジョージ・J・バーニーはマサチューセッツ植民地による土地払下げの手続きを次のように説明している。この郡で最初の土地払下げは6つのタウンシップであり、それぞれが6マイル (9.6 km) 四方、ペノブスコット川とユニオン川（当時はドナクァ川と呼ばれた）の間にあり、マサチューセッツ植民地議会からデイビッド・マーシュ他に対し、6年以内に各タウンシップあたりプロテスタントの60家族が入植するなどの条件で与えられた。この払下げ地は、バックポート、オーランド、ペノブスコット、セジウィック、ブルーヒル、サリーと呼ばれた。ユニオン川の東にあった別のタウンシップ6か所も同じ条件で払下げられ、そのうち3つはハンコック郡内にあった。すなわち、イーベン・ソーンダイク等に払下げられたトレントン、デイビッド・ビーン等に払下げられたサリバン、バーナード総督に渡されたマウントデザートだった。サミュエル・リバモアが測量を行い、川の両岸に3つずつタウンシップがあったので、川の現在の名前を持つようになった。1773年、エルスワースで初のスクーナー船が建造された。この船は町の著名人ベンジャミン・ミリケンとベンジャミン・ジョイの娘たちにちなんでスーザンとアビゲイルと名付けられた。この船は毎年西インド諸島に航海するときに松材の屋根板とオーク材の樽板を運んだ。20世紀に入る頃に様々な大きさの多くのスクーナーが、ユニオン川沿いにあるエルスワースの造船所で建造された。アルバート・H・デイビスは、18世紀の後半にエルスワースはユニオン川開拓地と呼ばれ、東はサリー、南はトレントンの開拓地に接していた。後にプランテーション第7号に編成され、ボードインおよびニューボードインと呼ばれた。1798年町の住民がサムナーという名前で法人化することを請願した。しかしその名前は既に現在のオックスフォード郡の開拓地に使われていたので、1800年、マサチューセッツ植民地議会によりエルスワースという名前で法人化された。この名前は1787年の憲法制定会議にコネチカット州の代議員となり、当時は新しいアメリカ合衆国のために憲法策定を行っていたオリバー・エルスワースにちなむものであり、エルスワースは後にアメリカ合衆国最高裁判所主席判事になった者であり、最初に「アメリカ合衆国」という国名を提案した者と考えられている。デイビスは、1770年代後半にユニオン川開拓地に対するイギリス軍の襲撃があり、土地の牛を徴発しようとしたものだった。しかし、アメリカ独立戦争の間にエルスワースの地域で記録に残される戦闘は無かった。1838年、エルスワースはそれまでのキャスタインに代わってハンコック郡の郡庁所在地となった。1838年に建てられた郡の建物は今も残っており、ユニオン川の西岸、ブリッジヒルにある。1859年、町の人口は4,009人であり、産業としては9つの製材所、2つの製粉所、1つの革なめし場、1つの梳綿機、1つの製陶所、8つのレンガ工場、13の造船所、5つのバケツ製作所、2つの刃物工場、1つの馬車製作所、8つの箱製作所があった。歴史家のアルバート・デイビスに拠れば、1860年から1865年、エルスワースから南北戦争に653人の兵士を送り出した。当時地域の有権者として847人の男性しかいないときのことだった。軍事訓練がユニオン川の西岸、ブリッジヒルの郡建物の前で行われ、現在は南北戦争記念碑が置かれている。1869年、エルスワースはメイン州議会により市として法人化された。最初の市役所はハンコック・ホールであり、メインストリートとスクール通りの角に立っていた。この建物は1933年エルスワース大火によって破壊された。1888年、エルスワース地域に電気が通った。1896年に議論のあった選挙によって、エルスワースで2人の警官を指名する結果になり、その互いが相手を逮捕すると脅した。1907年、ベンジャミン・ミリケン・ユニオン川ダムの1つがあった場所で、エルスワース水力発電ダムの建設が始まった。このダムで、市の直ぐ北に現在のレナード湖が造られた。20世紀にエルスワースで最初の災害は1923年の大洪水だった。春の増水がダムを越え、金属製のユニオン川橋を流し、ディリゴ劇場、鋳造所、多くの桟橋と倉庫など川沿いの多くの建造物も流した。この災害でエルスワースの輸送中心としての優位性を終わらせることになった。現在あるコンクリート製橋は1924年に付け替えられたものである。1933年エルスワース大火が、ユニオン川の東岸、エルスワース中心街商業地区の大半を破壊した。その後の建物はレンガで、主にアール・デコ調で建設された。特徴あるエルスワース市役所はこの時代のものである。事業地区の外にある古い家屋の多くはこの大火を免れたものである。1960年代と1970年代、ハイ通りのエルスワース事業地区が発展した。この通りはバーハーバーからアーカディア国立公園を直接繋ぐルートである。現在はハンコック郡で最大のショッピング地区になっている。幾つかのショッピングセンターと大型店があり、エルスワースとトレントンとの市境まで伸びている。