1923年（大正12年）の大正12年度艦艇補充計画により建造計画がされた。1926年4月17日、川崎造船所にて巡潜型潜水艦4番艦として起工。1928年5月22日に進水、1929年4月12日、伊号第四潜水艦と命名。1929年12月24日に竣工する。同日横須賀鎮守府籍となり、第二艦隊第2潜水戦隊第7潜水隊に編入される。先の3艦（伊1から伊3）より建造が若干遅れ、司令塔の装甲の強化、電池の増設、内殻を延長し冷却機を装備するなどの改良が加えられている。また主機のラ式2号ディーゼルはライセンスによる国内生産品を初めて搭載した。1930年8月1日、伊4は姉妹艦の伊3と共に横須賀鎮守府部隊第8潜水隊を編成する。12月1日、第8潜水隊は第一艦隊第1潜水戦隊指揮下となる。1932年12月1日、第8潜水隊は横須賀鎮守府部隊隷下となる。1933年11月15日、第8潜水隊は第一艦隊第1潜水戦隊隷下となる。1934年9月25日、艦型名が巡潜一型に改正。1935年11月15日、第8潜水隊は横須賀鎮守府部隊隷下となる。1936年12月1日、第8潜水隊は第一艦隊第1潜水戦隊隷下となる。1937年8月21日、伊4は姉妹艦の伊1、伊2、伊3の他、伊5、伊6、戦艦長門、陸奥、榛名、霧島、軽巡洋艦五十鈴と共に多度津港を出港し、長江河口沿岸で23日まで作戦行動を行う。1938年6月1日、艦型名が伊一型に改正。1939年11月15日、第8潜水隊は横須賀鎮守府部隊隷下となる。1940年11月15日、第8潜水隊は潜水母艦長鯨、第7潜水隊、伊7と共に第六艦隊第2潜水戦隊を編成。これは、先代の第2潜水戦隊が1939年11月15日付で第3潜水戦隊に改名して以来、2代目となる。太平洋戦争開始時には第六艦隊第2潜水戦隊第8潜水隊に所属。1941年11月16日、伊4は横須賀を出港。真珠湾攻撃ではオアフ島北東海域に配備された。14日0355、マカプウ岬東北東29浬地点付近で、爆発物100トンを含む一般貨物7,500トンを積んでサンフランシスコからホノルル経由でマニラに向かっていたノルウェー貨物船ホー・マーチャント（Høegh Merchant、4,858トン）を発見し、雷撃。魚雷はホー・マーチャントの右舷に命中し、火災を発生させる。10分後、再び発射された2本目の魚雷が1本目と同じ場所に命中し、ホー・マーチャントは0533に沈没した。1942年1月9日、伊18が発見した米空母レキシントンの捜索に向かう。その後、伊4は22日にクェゼリンに到着。24日にクェゼリンを出港し、2月1日に横須賀に帰投した。2月11日、伊4は横須賀を出港し、17日にパラオに到着。18日、パラオを出港し、22日にスターリング湾に到着。23日、スターリング湾を出港し、ジャワ島南方沖のインド洋に進出する。28日、バリ島南西沖で、低速で航行中の英領シンガポール籍の貨客船ファン・ホー・ガン（Ban Ho Guan、1,693トン）を雷撃により撃沈。3月3日、ココス諸島を砲撃。8日1250、伊4はペナンに到着した。3月28日、伊4はペナンを出港し、インド洋に向かった。4月6日1855、北緯07度00分 東経73度00分のモルディブ諸島北端ハーアリフ環礁付近で、スエズからコロンボに向かっていた米貨物船ワシントニアン（Washingtonian、6,617トン）を発見し、魚雷2本を発射。ワシントニアンは470mの距離まで接近した雷跡を発見し、左舷に転舵するも、舵が効き始めたところで魚雷2本が命中。燃料タンクから火災が発生して炎上する。1905、ワシントニアンは左舷に25度傾斜した後、沈没した。10日0100、北緯07度00分 東経79度00分のコロンボ近海で、モルディブ籍の帆船1隻（200トン）を発見し、砲弾14発を命中させて撃破した。16日、伊4はシンガポールに到着。21日にシンガポールを出港し、5月1日に横須賀に到着した。6月11日、伊4は、アリューシャン攻略作戦の支援を行うべく横須賀を出港。20日、K散開線に到達して哨戒に従事。8月1日、伊4は横須賀に帰投して整備を受ける。20日、第2潜水戦隊の解隊と同時に第8潜水隊も解隊され、伊4は第六艦隊第7潜水隊に編入。9月8日、伊4は横須賀を出港し、15日にトラック島に到着。17日にトラックを出港し、サンクリストバル島南方沖に進出する。29日2130、南緯10度47分 東経161度16分のサンクリストバル島シドニー岬南西12浬地点付近で浮上して哨戒中、駆逐艦モンセン(USS Monssen, DD-436)の護衛で、13ノットでガダルカナル島からエスピリトゥサント島に向かっていた米貨物輸送艦アルヘナ(USS Alhena, AK-26)を発見。潜航後5ノットで攻撃地点に移動する。2344、航走深度3mに設定した魚雷2本を発射。7分後、アルヘナの5番船倉付近に魚雷1本が命中し、13mほどの大穴を開けた。水柱が収まった後、アルヘナは煙を上げていた。まもなく、2本目の魚雷が命中したが、不発だった。火災が発生したアルヘナは浸水により航行不能となった。伊4は爆雷攻撃を避けるべく深度50mまで潜航し、3ノットで現場海域を離れた。翌30日、伊4は浮上し、敵輸送艦を撃沈したと報告した。しかし、実際にはアルヘナは船尾側に10度傾いたところで沈下が止まり、曳航されてエスピリトゥサント島に到着した。10月10日、伊4はエスピリトゥサント島方面に進出する。14日、エスピリトゥサント島の飛行場の砲撃をしようとするも、視界不良により目標の捜索ができず、エスピリトゥサント島北沖に移動して哨戒を行う。25日2110、エスピリトゥサント島西方100浬地点付近で、西航中の米戦艦1、駆逐艦2の艦隊を発見するも、スコールにより見失ってしまう。11月3日、伊4はトラックに到着し、4日から16日まで、大発を輸送可能なように改装される。20日、伊4はトラックを出港し、23日にラバウルに到着。大発を搭載し、25日に出港。翌26日にショートランドに到着する。28日、伊4は食糧及び薬20トンを搭載してショートランドを出港。30日にカミンボに到着して輸送物資を降ろした後出港し、12月3日にラバウルに到着する。5日、伊4は食糧及び薬20トンを搭載してラバウルを出港。8日にカミンボに到着して輸送物資を降ろした後出港し、10日にショートランドに到着する。12日、伊4はショートランドを出港し、14日にラバウルに到着。16日、伊4はブナへの緊急輸送のためラバウルを出港。18日2215、マンバレ川河口付近の揚陸地点に到着するも、米魚雷艇PT-121及びPT-122に発見される。魚雷艇は魚雷2本を発射するも命中せず、伊4は退避する。数時間後、伊4は再度揚陸地点に到着するも、島の陸軍兵士への連絡がとれず、輸送任務は失敗した。このため、伊4はラバウルへ向かうため揚陸地点を離れる。この時に発信した、21日にラバウルに到着予定との報告を最後に消息不明となる。米側記録によると1942年12月21日0620、セント・ジョージ岬沖を哨戒中の米潜水艦シードラゴン(Sea Dragon, SS-194)が、浮上航走する伊68型潜水艦を発見する。14ノットで北上するその潜水艦は黒く塗られており、司令塔には「イ4」と白く書かれていた。シードラゴンはこれを追尾する。0637、シードラゴンは射点を確保し、780mの距離から魚雷を3本発射。1本目は命中せず、2本目も発射後18秒で爆発。しかし、3本目が潜水艦の艦尾に命中。火の玉と濃い煙を上げ、潜水艦は艦尾から沈没した。しかし、2本目の魚雷の早期爆発の影響でシードラゴンも損傷した。爆発により前部発射管室の乗組員を倒し、また、1番発射管に装てんされていた魚雷が誤作動を起こした。不測の事態を回避すべく、この魚雷を強引に発射したが、その代償で1番発射管の外側の扉が破損した。シードラゴンは一時コントロールを失ったが、魚雷がシードラゴンの艦尾近くで爆発した後、元に戻った。これが伊4の最期の瞬間であり、艦長の上野利武少佐以下乗員90名全員戦死。沈没地点は南緯05度02分 東経152度33分。1943年（昭和18年）1月5日ラバウル方面で沈没と認定、3月1日除籍。撃沈総数は3隻で、撃沈トン数は13,168トンである。撃破総数は2隻で、撃破トン数は7,647トンである。