廃藩置県後、広島県安芸郡下蒲刈島村となる。広島藩の施設は役場などに転用された。明治時代以降汽帆船の登場により風待ち潮待ちの港は必要がなくなり、そして鉄道(山陽本線）の登場により物流も変わったため、中継港としての存在意義はなくなり、小さな港町として存続していった。また戦前この地は呉市を拠点とした大日本帝国海軍呉鎮守府の管轄内であり、地図に記載されていない時期もあった。戦後も島嶼の小さな港町として存続していった。1962年（昭和37年）町制施行により安芸郡下蒲刈町三之瀬に、1979年（昭和54年）蒲刈大橋開通により上蒲刈島と繋がり、2000年（平成12年）安芸灘大橋開通により呉市本土と繋がり、そして2003年（平成15年）呉市と合併により広島県呉市下蒲刈町三之瀬となる。こうした交通網の整備は新たな地域活性化に繋がる反面、下蒲刈島全体では宿泊客が減り幾つか民宿が廃業するなどの問題も起こっている。現在この地で行われている地域活性化計画は、1990年（平成2年）安芸郡下蒲刈町時代に作成された「文化と歴史の掘り起こし」と、全島庭園化事業「ガーデン・アイランド構想」から始まる。具体的には朝鮮通信使を中心とした島の歴史の再発掘と、島を庭園に見立て芸術そしてマツを中心に飾り立てる構想である。翌1991年（平成3年）に蘭島閣美術館開館、そして庭園と通信使資料を展示する松濤園の整備が始まっている。そして国宝・国重文などの修復で著名な京都の安井杢工務店と連携し、質のいい古家をいくつかこの地に移設している。こうして三之瀬は古くからの港湾施設と文化施設が混ざり合った地区として形成されていった。
木津川土地運河株式会社社長の高倉為三が大阪府西成郡津守村（現在の大阪市西成区北津守・津守・南津守）・東成郡敷津村（現在の住之江区のうち、おおむね粉浜・安立・南港を除いた地域）沿線の大地主や土地会社とはかり投機を目的として1919年8月に軌道敷設（港南電車軌道）を出願した。1922年（大正11年）7月1日、大阪市南区（現・浪速区）芦原橋 - 大阪府堺市戎島3丁目（現・堺市堺区戎島3丁目）間の軌道敷設特許状が下付され、株式10万株のうち半分を木津川土地運河の株主及びその縁故者が引き受ける予定であった。 ところが高倉為三は積善銀行事件により失脚してしまい、主要株主には土地会社が占めることになった。阪堺電鉄と改称し1923年（大正12年）6月2日に会社設立し、本社は大阪市西区京町堀に設置された。1925年（大正14年）11月に芦原橋 - 三宝車庫前間の軌道敷設工事に着手し、1927年（昭和2年）10月1日に開業した。阪堺電鉄の事を「新阪堺」と呼ぶのは、この阪堺電鉄が経営する軌道線の東側に、開業時、既に南海鉄道（現在の南海電気鉄道）軌道線の阪堺線（現在の阪堺電気軌道阪堺線）が走っていた為、紛らわしかったからである。1929年（昭和4年）3月に三宝車庫前 - 北公園間が、1929年（昭和4年）10月に北公園前 - 龍神通間が、それぞれ延伸開業した。しかし龍神通 - 浜寺間の軌道敷設工事は、龍神通駅のすぐ南を南海大浜支線が通っていた為、なかなか思うように進まなかった。なお同年には、本社を大阪市西成区津守十三間堀（現在の大阪市西成区北津守付近）に移転している。1934年（昭和9年）7月に龍神通 - 湊ノ浜間が延伸開業した。また1935年（昭和10年）6月1日には湊ノ浜 - 浜寺間を延伸開業し、全区間が開通した。しかし並行する南海鉄道本線・高野線・南海軌道線との競争や、沿線に人家が少なかったために旅客が少なかったこと、終点の浜寺駅が浜寺公園の一番北の隅に設置されたこと、1934年に室戸台風で被災し、復旧工事に前年度旅客収入の54%に相当する8万4860円（2000年代の価値に換算して約1億1230万円）もの多額の費用を要したことなど悪条件が重なり、経営は苦難の連続だった。その苦しい経営状況を打破する為、箕面有馬電気軌道（箕有電車。現在の阪急電鉄）創設者の小林一三が採った経営手法を真似て、軌道線の沿線で“経営地”と呼ばれる宅地開発を行った。1938年（昭和13年）には本社を、その経営地の一つであった大阪府大阪市住吉区浜口町（現在の住之江区西加賀屋4丁目）の「墨江経営地」内に再び移転した。（浜口本社跡は市バス「西加賀屋４丁目」バス停から北に行った所に昭和３０年代まで独身寮などとして存在しており、木造２階建ての建物だった。 また、変電所は現在の「北加賀屋天満宮」付近、保線区は現在の「きのみむすび保育園」の付近にあった）一方で1937年に日中戦争が勃発すると、沿線にある造船所や軍需工場が活気付くとともに、そこで働く労働者が増加した事によって、旅客輸送量も1年に約10万人というハイペースで急増した。それまでは、夏の潮干狩りや海水浴シーズンのみ賑わう路線であったが、造船所や軍需工場労働者の通勤路線へと変化し、1940年（昭和15年）頃になって、やっと、それまでの無配当の状況を脱する事ができた。阪堺電鉄の企業業績は好転するものの、保有車両が少なかったために軌道線の輸送力が追い付かず、車両を酷使した事による車両故障が相次いだ。また乗務員の戦地への招集の為、車両の運転本数も日を追う毎に減少した。1940年（昭和15年）1月に17.5両あった運転車両が、2年後の1942年（昭和17年）末には13.3両まで落ち込んだ。朝夕のラッシュ時の混雑が問題化し、軍需工場の稼働率にも影響を与えていくほどになった。この事が社会問題へと発展し、1943年（昭和18年）には大阪府警本部から「輸送業務改善命令」が下された。阪堺電鉄はその改善に取り組んだものの、車両の増備がままならなかった。芦原橋駅に大阪市電との連絡線を設置し、大阪市電気局（現在の大阪市交通局）から二軸単車5両を借り入れるものの、混雑の解消には程遠い状況で、根本的な解決には至らなかった。道路を管理する大阪府と、阪堺電鉄の監督官庁である運輸通信省（後の運輸省。現在の国土交通省）は、「阪堺電鉄が抱える混雑を解消する為には、大阪市が阪堺電鉄を買収し、阪堺電鉄が経営する軌道線を大阪市電の一路線として編入する事が相応しい」と判断した。そして、大阪市及び阪堺電鉄に対して合併を半ば強制的に勧奨したのである。これを受け、1944年（昭和19年）の大阪市会において、阪堺電鉄の買収が可決された。阪堺電鉄は1944年（昭和19年）3月27日に大阪市に買収され、その全事業は大阪市に引き継がれた。