井島南端の鞍掛鼻、鞍掛鼻に直交する尾根から鞍部には、旧石器時代~縄文時代の遺跡である井島遺跡がある。1951年(昭和26年)ごろ発見され、表面採集により石槍、石鏃、大小のナイフ形石器、細石刃と細石刃核などが発見された。1954年(昭和30年)から1955年(昭和31年)にかけて行われた正式発掘調査では遺物包含層(花崗岩バイラン土)上層部より細石刃核、下層部より小型ナイフ形石器が発掘され、これらはそれぞれ井島Ⅰ型石器、井島Ⅱ型石器と呼称された。井島Ⅰ型石器は小型の、切り出しのような形をした石器で、ヨーロッパなどで発見される幾何形細石器にも類似している。井島Ⅱ型石器は片面に剥離面を残した船底型細石刃核と、そこから剥離した細石刃を主体とするもので、組み合わせ石器であると考えられている。鞍掛鼻を中心とする舌状台地の西側には小さな砂浜が形成されており、ここからは縄文時代晩期の土器や、海水を煮詰めて塩を作るために使う製塩土器や、焼け焦げた製塩炉跡などが発見されている。また、古墳時代の遺跡としては、井島側に横穴式石室と周溝を伴う(一本松古墳)、箱式石棺が数基所在する(ナカ鼻古墳群)があり、石島側には、横穴式石室を伴う石島古墳群が所在する。1702年（元禄15年）に直島と胸上村との間で境界論争が発生し、幕府が石島山から東西に境界を引く形で、北部を胸上領、南部を直島領と決めた。その当時は井島は無人島だった。このあと胸上村から3人の農民が井島に行き、石島山の北の麓を開拓した。その後も胸上村数人が井島に移住し、開拓に関わった。またその間には爆発的な増加率で増え、1702年に数人であった人口が1742年（寛保2年）には56人にまで膨れあがっていた。1983年（昭和58年）と1989年（平成元年）には島内を流れる石島川に、砂防ダムが完成。上水道として利用していたが、1996年（平成8年）の海底送水管の完成によって利用されなくなった。1895年（明治28年）に発生した火事では集落の多くが焼けたほか、1907年（明治40年）の火事では、家が8軒焼けている。2011年（平成23年）8月9日に発生した山火事は約73時間に渡って燃え続け、島の面積の約87%に当たる237haを焼いた。火災発生の夜に十数人のグループがバーベキューをしていたことが判明している。
梁の末年、海寧県・黟県・歙県や鄱陽郡と宣城郡の境では反乱が多発したため、霊洗は郷里の少年たちを集めて、反乱者の追捕にあたった。侯景の乱が起こると、霊洗は兵を集めて黟県・歙県に拠り、侯景軍をはばんだ。侯景軍が新安郡治を占領し、新安郡太守の蕭隠が霊洗を頼って逃亡してくると、霊洗は蕭隠を主にまつりあげた。湘東王蕭繹が荊州で承制すると、霊洗は間道から蕭繹に遣使した。劉神茂が東陽から新安の侯景軍を攻撃すると、霊洗は劉神茂と呼応して新安を攻め落とした。蕭繹により持節・通直散騎常侍・都督新安郡諸軍事・雲麾将軍・譙州刺史に任じられ、新安郡太守を兼ね、巴丘県侯に封じられた。劉神茂が敗れて、侯景の部将の呂子栄が新安に進攻してくると、霊洗は黟県・歙県に撤退した。侯景が敗れて、呂子栄が退却すると、霊洗は再び新安を占拠した。建徳に進軍し、侯景の部将の趙桑乾を捕らえた。功績により持節・散騎常侍・都督青冀二州諸軍事・青州刺史に任じられた。霊洗は兵を率いて揚州に下り、王僧弁を補佐した。呉興郡太守に任じられたが、赴任しないうちに、王僧弁の命を受けて侯瑱の下で荊州の援軍に向かった。554年（承聖3年）、江陵が西魏の侵攻を受けて陥落すると、霊洗は建康に帰還した。555年（承聖4年）、陳霸先が王僧弁を殺害すると、霊洗は兵を率いて王僧弁を救援しようとしたが、石頭西門で奮戦して敗れ、陳霸先に降伏した。同年（紹泰元年）、使持節・信武将軍・蘭陵郡太守に任じられ、京口に駐屯した。陳霸先が徐嗣徽の率いる北斉軍を破ると、霊洗は功績により南丹陽郡太守に任じられ、遂安県侯に封じられて、采石に駐屯した。557年（永定元年）、陳が建国されると、霊洗は周文育の下で郢州の王琳を攻撃し、沌口で敗戦して王琳に捕らえられた。558年（永定2年）、侯安都らとともに逃げ帰った。丹陽尹を兼ね、高唐太原二郡太守として出向し、南陵に駐屯した。太子左衛率に転じた。559年（永定3年）、陳霸先が死去すると、王琳の前軍が東下してきたため、霊洗は南陵でこれを撃破した。功績により持節・都督南豫州縁江諸軍事・信武将軍・南豫州刺史に任じられた。560年（天嘉元年）、侯瑱らが王琳を柵口で撃破すると、霊洗は勝利に乗じて北に追撃し、魯山を占拠した。召還されて左衛将軍となった。563年（天嘉4年）、周迪が臨川郡に進攻してくると、霊洗は都督として、鄱陽から別道をとって周迪を撃破した。564年（天嘉5年）11月、中護軍に転じた。565年（天嘉6年）12月、使持節・都督郢巴武三州諸軍事・宣毅将軍・郢州刺史として出向した。566年（天康元年）、陳の廃帝が即位すると、霊洗は雲麾将軍に進んだ。567年（光大元年）、華皎が反乱を起こすと、使者を送って霊洗に誘いをかけたが、霊洗は華皎の使者を斬って、経緯を陳の朝廷に報告した。北周の長湖公元定が2万の兵を率いて華皎の援軍となり、郢州の霊洗を包囲したので、霊洗は州城に籠城して固守した。陳の将軍の淳于量・呉明徹らが華皎・元定らを撃破し、華皎は江陵に逃れ、元定は降伏した。568年（光大2年）、霊洗は北周の沔州に進攻して攻め落とし、刺史の裴寛を捕らえた。功績により安西将軍に進み、重安県公に改封された。郢州で死去した。享年は55。鎮西将軍・開府儀同三司の位を追贈された。諡は忠壮といった。子の程文季が後を嗣いだ。