江戸城の北、平川門と竹橋の対岸にあった護持院ヶ原は、市民の遊観所として使われていた。また、森鴎外「護持院原の敵討」の舞台としても知られる。護持院という大寺院があったのが、享保二年に小石川馬場辺から出た火に延焼。焼失した後の焼け跡は、火除け地となり、護持院ヶ原と呼ばれた。跡地は、江戸時代を通じて建物を建てず、空地として残した。おそらく江戸城に対する火除地の機能をもたせたと思われている。またほかに将軍の放鷹の場とされていて、空地を一番二番三番四番と分けて、数条の堀をほっていた。一番原は文化十四年より本多忠升の屋敷となったが、他は幕末まで残っていた。放鷹は冬にされ、二月から八月までは、周辺の人たちに開放された。「神田橋外一ッ橋外、明地之近辺屋敷屋鋪ノ妻子、延気二罷出候儀、二月中旬ヨヅ八月中旬迄ハ勝手次第、出ヅ可キ候。此外町人等モ妻子召連、延気二参候ハ苦シカラズ候。」と『憲教類典』（享保八年）に達せられている。武家屋敷の中にあったこととて、まず武家の妻子を対象とし、町民も遊んでも苦しくないという形となっている。明治維新後は、学習院、開成学校などの校舎がこの地に建造された。『武江年表』の明治三年の項によると、「錦町の西には一番より三番までの火除明地あり。昔、護持院のありし跡にて、毎春近傍の者はここに遊観し、児輩は摘草などして戯れしが、この頃追々に御用に付き、建物御設あり、華族方学習院、開成所等も此所なり」と書かれている。享保年間から幕末まで遊観所として、士民に親しまれてきた護持院ヶ原も、明治政府によって建物の敷地になってしまった。このことはちょうど品川の御殿山が享保年間から名所として開放された遊観所(公園)でありつづけながら、明治政府によってつぶされてしまったのと同じ状況であった。護持院ヶ原は面積も広くて、『東京案内』によると神田錦町一丁目、二丁目、三丁目、一橋通町を占めていた。文化十四年に一番原が屋敷になるまでは、日比谷公園よりかなり広い地域を占めていた。四番原すなわち後の一橋通町にできたのが、高等商業学校、現在の一橋大学である。なお近くの神田川の土手に柳を植えたのは、吉宗だと伝えられるが、柳原堤として市民に親しまれてきた河岸緑地であった。『江戸名所図絵』に柳の土手下で武士たちが的を射ている矢場の状況が描かれている。この土手は明治まで確保されていたところ、明治四年土手の床店を取り払い、柳を伐り倒して道路をひろげた。これも明治になって、都市緑地・遊観所がつぶされた一例である。
元禄元年（1688年）、江戸幕府の5代将軍徳川綱吉が湯島にあった知足院を移し、隆光を開山として、護持院と改称したことに始まる。享保2年（1717年）、火災により焼失し、音羽護国寺の境内に移された。
近代での行政区分は、島の東側が御調郡向東町（旧・向島東村）、中央部と西側が御調郡向島町（旧・向島西村および旧・立花村）であった。近代文学の代表作である志賀直哉『暗夜行路』は尾道が舞台となった作品であるが、この島の様子も出てくる。景色はいい処だった。寝ころんでいて色々な物が見えた。前の島に造船所がある。其処で朝からカーンカーンと金槌を響かせている。同じ島の左手の山の中腹に石切り場があって、松林の中で石切人足が絶えず唄を歌いながら石を切り出している。その声は市まちの遥か高い処を通って直接彼のいる処に聴えて来た。 — 志賀直哉、暗夜行路このように、近代に入ると造船業が盛んになっていく。向島では明治39年（1906年）松場鉄工所が最初に起業しのち数社ができ、近代から現代にかけて、日露戦争・第一次世界大戦・第2次世界大戦・朝鮮戦争と戦争による特需活況と戦後の不況、その後も好況不況を繰り返したなかで成長していった。太平洋戦争中にはこの島に捕虜収容所が置かれ連合国捕虜を造船関係の仕事に従事させている。昭和20年（1945年）7月27日にはその中の日立造船向島工場が空襲されることになる。また、瀬戸内海式気候という温暖な気候を利用した農業が展開されたのもこの頃からである。この周辺で防虫菊栽培が始まったのはこの島からである。日本に防虫菊の種を持ち帰った上山英一郎は和歌山で栽培に成功すると各地に栽培を勧めたがなかなかうまく行かなかった。明治23年（1890年）向島を訪れた上山に村上庄平が協力者となりこの地で試験的な栽培が始まり、そして藤田歳太郎によって本格的な栽培が進められた。ここから瀬戸内海の島々、特に広島県と香川県が産地となり、島々の産業の中心となり、隣の因島市では市花に採用されている。ただ戦後、防虫菊に含まれる殺虫成分であるピレトリンが合成されるようになると急速に栽培は廃れている。近代に入り向島と尾道との間の交通手段として渡船が最大で12箇所まで増えていくことになるが、現代に入り広域交通が整備される中で規模が縮小されていった。そして、戦後の広域道路網整備は昭和43年（1968年）尾道大橋開通から始まり、昭和58年（1983年）因島大橋、平成11年（1999年）新尾道大橋が完成ししまなみ海道が島の中央を縦断することになる。平成25年（2013年）尾道大橋は無料開放された。こうした中で、昭和45年（1970年）向東町、平成17年（2005年）向島町が尾道市に編入されている。2010年代以降は高齢化や島外への移住により人口が減少し、島内には放棄された果樹園や1000軒以上の空き家が点在するなど景観が悪化しつつある。