江戸時代末期（幕末）に外国船が頻繁に訪れるようになると、東京湾（江戸湾）の入口に位置する城ヶ島は海防の要所として重要視されることとなった。1808年に浦賀奉行岩本正倫が砲台を築いたのを皮切りに、1810年に幕府より相模海防役を命じられた会津藩主松平容衆は、城ヶ島に遠見番所を設置したり、安房ヶ崎にて大砲発射演習を行うなどの活動を行った。1821年に会津藩に代わって川越藩が相模海防役に就くと、城ヶ島砲台は浦賀奉行の所管となった。米国ペリー艦隊は横須賀の浦賀に来航、久里浜に上陸したが、来訪を真っ先に知らせたのは松輪沖で漁をしていた城ヶ島の漁師であったと伝えられている。また、1854年には三崎の名主吉兵衛が城ヶ島沖に異国船2隻を発見、上宮田の海防陣屋に報告している。
鎌倉時代、三浦半島一帯は三浦氏の支配下にあり、城ヶ島はその水軍（三浦水軍）の本拠地であった。戦国時代、三浦氏は一度は滅亡するも相模三浦氏として再興していたが、1516年に北条早雲によって新井城、三崎城が落城、滅亡した。この時、亀崎、鈴木、下里、三富、出口を名乗る者を中心とする残党が城ヶ島に立て篭もって抵抗した。彼らは三崎の船を全て城ヶ島に持ち去ったため、攻めあぐねた早雲は建長寺、円覚寺の両和尚に調停を頼んでようやく講和したという（『北条五代記』）。この残党は「三崎十人衆」と呼ばれ（『小田原衆所領役帳』）、北条氏の下で里見水軍の侵攻をよく防いだとされる。彼らの苗字は現在も三崎に残っている。北条氏の支配下では、梶原景宗率いる北条水軍が房総半島の安房里見氏と対峙した。里見水軍はしばしば城ヶ島周辺を来襲していたが、1562年に城ヶ島に上陸すると、北条軍は三崎城に陣を構えて海戦となった（三崎三浦海戦）。現在、島にこれらの遺構は残っていないが、城ヶ島から三崎を望んだ際に見える高台が三崎城跡である。
島西端の長津呂崎の根元、標高約30mの崖上に建つ灯台。江戸時代に現在地（西山）に設置された灯明台が直接のルーツである。これは前述の安房ヶ崎の烽火台を移設したもので、後に松明を焚く篝火（篝屋）に変更された。城ヶ島を描いた江戸期の絵画で姿を偲ぶことができる。幕末に西洋式灯台の建設が計画され、1870年（明治3年）に初点灯した。日本の西洋式灯台では5番目で、最も古い時代に設置された灯台の1つ。当初の灯台は関東大震災で倒壊し、現在の灯台は1927年に再建された2代目である。戦前、城ヶ島付近で軍事演習が行われる際には明弧の制限も行われた。
城ヶ島には2つの灯台がある。東京湾の入口に位置するため歴史は古く、1648年（慶安元年）に島東端の安房ヶ崎に設置された烽火台（のろし台）が起源とされる。
『城ヶ島の春』－ 牧野信一は、1935年（昭和10年）3月の『東京朝日新聞』にて小説『城ヶ島の春』を発表した。白秋の思い出と、春の城ヶ島の何気ない日常を描いた小説である。『城ヶ島殺人旅情』－ 斎藤栄著、1994年（平成6年）。
俳人角川源義が城ヶ島から望む伊豆大島への憧れを詠んだ俳句（1964年（昭和39年）作）の詩碑が城ヶ島公園にある。城ヶ島から望む伊豆大島へ帆掛け舟が奔る様子を詠ったものである。伊豆大島と城ヶ島の間には遮るものが何もないため、目と鼻の先に見える。1986年の大噴火の際は、夜になると空が真っ赤に染まる様を見ることができた。
俳人松本たかしが初秋の島の夜を詠んだ俳句（1938年（昭和13年）作）の詩碑が城ヶ島公園にある。戦前の城ヶ島は渡し舟以外に渡島手段がなく、要塞地帯ゆえに渡島自体に軍の制約があったため、夜ともなれば人気もなく、虫の音の鳴り響く島であった。詩碑に刻まれた俳句は、虫の音響く初秋の夜、涼を求めて雨戸も閉めずに寝入る島の情景を写し取ったものである。
5歳の時、父・欣二に連れられ、映画『柳生一族の陰謀』、『宇宙からのメッセージ』が撮影されていた東映京都撮影所へ行った。欣二を慕う役者たちの存在は父への尊敬を膨らまし、「ケン坊、これ終わったら次は宇宙人の役やでえ」と声かけられ、「何とおもしろい世界だろうか」と思っていた。幼い頃から遊んでくれた千葉真一や真田広之がスクリーンの中で輝いていたことに感動し、ふだんの姿と役柄の違いを「裏側から楽しむ」ようになり、映画に惹かれていく。大学卒業後、清掃会社に就職。その後、フリーの助監督として東映テレビ・プロダクションで戦隊シリーズ、映画『身も心も』（97）、『時雨の記』（98）、「おもちゃ』（98）などの作品につく。脚本、プロデュースを担当していた『バトル・ロワイアルII 【鎮魂歌】』の撮影開始直後に監督である父の欣二が入院、翌2003年初頭に死去したため、その後の監督を引き継ぎ完成させた。そのため実質的に『バトル・ロワイアルII 【鎮魂歌】』が深作健太作品となり、監督第1作となる。早稲田大学教授の石原千秋は、成城大学勤務時代の教え子だった深作について、「彼は横光利一『上海』に色を感じると書いて、レポートに24色の色鉛筆を駆使した奇妙な物語展開図を付表として付けてきた。さっぱりわからなかったので、敬意を払って90点を付けた。翌年の卒業論文は「悦（よろこ）びの王権」と題する谷崎潤一郎『細雪』論だった。副査の教員が「修士論文でも十分通用する」と感嘆したほどの出来だった。僕は教員として「わからないものにはとりあえず1票」という姿勢を採ることにしている。」と述べている。近年では演劇やオペラ、テレビドラマの演出にも、活動の場を広げている。