1923年（大正12年）の大正12年度艦艇補充計画により建造計画がされた。1921年（大正10年）4月25日に第七十六潜水艦と命名。1922年（大正11年）2月10日、海軍大型七十四型2番艦に定められる。6月15日、艦型名が伊号型巡潜型に改正。1923年11月1日に川崎造船所にて起工。1924年（大正13年）11月1日、等級を1等に、艦型名が巡潜型にそれぞれ改正されるとともに、艦名を伊号第三潜水艦に改名した。1925年（大正14年）6月8日に進水し、1926年（大正15年）11月30日に竣工した。同日横須賀鎮守府籍となり、第二艦隊第7潜水隊に編入された。1927年（昭和2年）1月15日、第7潜水隊は第一艦隊隷下となる。7月1日、第7潜水隊は横須賀防備隊隷下となる。1928年（昭和3年）7月12日1011、因島付近を4ノットで浮上航走中、舵の故障により座礁し、艦首と燃料タンクが損傷してしまう。それでも1622に離礁し、呉に回航されて修理を受ける。12月1日、第7潜水隊は第二艦隊第2潜水戦隊隷下となる。1930年（昭和5年）8月1日：伊3は横須賀鎮守府部隊第8潜水隊を編成する。12月1日、第8潜水隊は第一艦隊第1潜水戦隊隷下となる。1932年（昭和7年）12月1日、第8潜水隊は横須賀鎮守府部隊隷下となる。1933年（昭和8年）12月1日、第8潜水隊は第一艦隊第1潜水戦隊隷下となる。1934年（昭和9年）9月25日、艦型名が巡潜一型に改正。1935年（昭和10年）1月10日、横須賀に停泊中の伊3は、在日ドイツ海軍駐在武官パウル・ヴェネッカーの視察を受ける予定だったが、悪天候により中止となる。11月15日、第8潜水隊は横須賀鎮守府部隊隷下となる。同日から1936年（昭和11年）12月1日まで、伊3は艦橋の改修とKチューブの取り付け、電池交換などの近代化改装が行われた。1936年（昭和11年）12月1日、第8潜水隊は第一艦隊第1潜水戦隊隷下となる。1937年（昭和12年）5月18日1045、宿毛湾泊地に停泊中、潤滑油集油タンクで爆発事故があり、乗員1名死亡、17名負傷という損害を受ける。このため、呉に回航されて修理を受ける。8月21日、姉妹艦の伊1、伊2、伊4の他、伊5、伊6、戦艦長門、陸奥、榛名、霧島、軽巡洋艦五十鈴と共に多度津港を出港し、長江河口沿岸で23日まで作戦行動を行う。1938年（昭和13年）6月1日、艦型名が伊一型に改正。1939年（昭和14年）11月15日、第8潜水隊は横須賀鎮守府部隊隷下となる。1940年（昭和15年）11月15日、伊3は第7潜水隊に転出。同日、第7潜水隊は潜水母艦長鯨、第8潜水隊、伊7と共に第六艦隊第2潜水戦隊を編成。これは、先代の第2潜水戦隊が1939年11月15日付で第3潜水戦隊に改名して以来、2代目となる。太平洋戦争開始時には第六艦隊第2潜水戦隊第7潜水隊に所属。1941年（昭和16年）11月16日、伊3は横須賀を出港し、12月1日にオアフ島沖合に到達。真珠湾攻撃ではカウアイ海峡で哨戒任務につく。31日、カウアイ島ナウィリウィリ港沖に到着。潜望鏡深度で夜を待ってから浮上し、ナウィリウィリ港へ主砲20発を撃ち込んだ。1942年（昭和17年）1月1日1630、オアフ島西南西100浬地点付近で空母1、巡洋艦2、駆逐艦若干の米機動部隊を発見するも、攻撃位置への移動に失敗。1942年1月9日、伊18が発見した米空母レキシントンの捜索に向かう。その後22日にクェゼリンに到着。24日にクェゼリンを出港し、2月1日に横須賀に帰投した。2月12日、伊2は横須賀を出港し、16日にパラオに到着して特設運送船(給油船)富士山丸から燃料補給を受ける。17日に出港し、22日にセレベス島南東岸のスターリング湾に寄港。22日1630に出港した後、オーストラリア南西沖に進出する。23日、バンダ海を航行中、浮上航走中の敵潜水艦を発見するも、攻撃位置への移動に失敗。3月1日、南緯31度50分 東経113度30分の地点で中型商船を雷撃により撃沈したと報告するが、連合軍側に該当船はない。3日、ロットネスト島南西90マイル地点付近で、ウェリントンからフリーマントルに向かっていたニュージーランド貨物船トンガリロ（Tongariro、8,719トン）を発見して追尾中、トンガリロからの砲撃を受けて潜航退避する。同日1038、フリーマントル西北西90浬地点付近で、西航中のニュージーランド貨客船ナルバダ（Narbada、9,540トン）を発見し、浮上砲戦を行う。しかし、命中しなかったばかりか、ナルバダからの反撃を受けて潜航退避する。6日、シャーク湾を偵察し、南緯24度28分 東経112度40分の地点で米潜S-40(USS S-40, SS-145)を発見して砲撃準備をする。1457、S-40も伊3の存在に気が付いたが、当初スティングレイ(USS Stingray, SS-186)と艦形が似ていたため、S-40は相手の潜水艦に連絡を試みた。まもなく、伊3はその返答として砲撃を行う。S-40はこれを潜航して回避した。 14日、伊3はペナンに到着した。28日、伊3はペナンを出港し、インド洋に向かった。4月3日、コロンボ沖に到達し、偵察と気象通報に従事する。7日未明、北緯06度52分 東経78度50分のコロンボ西南西150浬地点付近で、東航中の5隻の輸送船団と、西航中のタンカーと貨物船1隻ずつの輸送船団がすれ違うのを目撃。このうちの輸送船3隻に対して攻撃を行う。0240までに主砲弾39発、魚雷4本を消費し、カラチからコロンボに向かっていた英貨物船エルムデール（Elmdale、4,872トン）に砲弾14発を命中させて撃破した。翌8日0450、北緯06度52分 東経76度54分のコロンボ西方300浬地点付近で、石炭8,000トンを積んでカルカッタからカラチに向かっていた英ブリティッシュ･インディア海運貨物船フルタラ（Fultala、5,051トン）を発見し、魚雷1本を発射。魚雷はフルタラに命中し、これを撃沈した。9日、コロンボ南西沖に移動。15日にシンガポールに到着した。21日、伊3はシンガポールを出港し、5月1日に横須賀に到着した。到着後、伊3は7.7mm機銃を九三式13mm機銃に交換するなどの改装が行われた。6月11日、伊3は、アリューシャン攻略作戦の支援を行うべく横須賀を出港。20日、K散開線に到達して哨戒に従事。8月1日、伊3は横須賀に帰投して整備を受ける。20日、第2潜水戦隊の解隊に伴い、第7潜水隊は第六艦隊付属となる。9月8日、伊3は横須賀を出港し、15日にトラック島に到着。17日にトラックを出港し、26日にショートランドに到着。この時、駆逐艦綾波と天霧が大発4隻、88式7.5cm野戦高射砲1門、軍用トラック1台、96式中迫撃砲若干をショートランドまで輸送しており、伊2と伊3はこれら輸送物資と大発をガダルカナル島へ輸送することになった。27日0330、伊3はショートランドを出港し、大発と輸送物資をガダルカナルへ輸送。輸送完了後、ショートランドに戻った。10月初め、ニュージョージア島への輸送作戦に従事する。10月10日、サンクリストバル島南南東110浬地点付近で複数の敵巡洋艦を発見し、通報する。11月3日、伊3はトラックに到着し、防水処理がされた大発を搭載する。これは元々伊1で輸送する予定だった。19日、伊3は食料と薬、計20トンを搭載してトラックを出港。22日にラバウルに到着。24日にショートランドに移動し、26日に出港。28日にカミンボに到着して輸送物資と大発を降ろした後出港。30日にショートランドに到着した。12月1日、輸送物資を積んでショートランドを出港。3日夕方ごろ、伊3はカミンボ付近で浮上し、島の陸軍兵士と連絡をとった。しかし、輸送物資を降ろす前に米魚雷艇に発見・追跡されたため、退避する。5日、ショートランドに到着。7日、再度の輸送のためショートランドを出港。9日朝、カミンボ付近に到着した伊3は潜望鏡で周囲の確認をした後に浮上する。その後島の陸軍兵士と連絡を取り、大発を降ろした後輸送物資の揚陸準備を行う。0652、アメリカ海軍魚雷艇PT-59とPT-44が大発と伊3を発見。0703、PT-59は370mの距離から魚雷2本を発射。うち1本が伊3の艦尾に命中する。水柱が空高く上がり、続けて伊3は大爆発を起こした後、沈没した。もう1本は味方であるPT-44の艇底の下を通過していった。伊3の沈没後、重油の帯が1時間半にわたって確認された。これが伊3の最期の瞬間であり、艦長の戸上一郎中佐以下乗員90名が戦死し、爆発によって海に投げ出された乗員4名がガ島に泳ぎ着き救助された。沈没地点はカミンボ北東3浬地点付近、南緯09度12分 東経159度42分。1943年（昭和18年）1月20日に除籍された。撃沈総数は1隻で、撃沈トン数は5,051トンである。撃破総数は1隻で、撃破トン数は4,872トンである。