1923年（大正12年）の大正12年度艦艇補充計画により建造計画がされた。1921年4月25日に第七十五潜水艦と命名。1922年2月10日、海軍大型七十四型2番艦に定められる。6月15日、艦型名が伊号型巡潜型に改正。川崎造船所で1923年8月6日起工。1924年11月1日、等級を1等に、艦型名が巡潜型にそれぞれ改正されるとともに、艦名を伊号第二潜水艦に改名した。1925年2月23日進水、1926年7月24日に竣工した。同日横須賀鎮守府籍となる。8月1日、伊2は姉妹艦の伊1と共に第二艦隊第7潜水隊を編成する。1927年1月15日、第7潜水隊は第一艦隊隷下となる。7月1日、第7潜水隊は横須賀防備隊隷下となる。9月15日、第7潜水隊から除かれる。1928年9月10日、第二艦隊第7潜水隊に編入。12月1日、第7潜水隊は第二艦隊第2潜水戦隊隷下となる。1930年12月1日、第7潜水隊は第一艦隊第1潜水戦隊隷下となる。1932年10月1日、第7潜水隊は横須賀防備隊隷下となる。1933年11月15日、第7潜水隊は第一艦隊第1潜水戦隊隷下となる。1934年9月25日、艦型名が巡潜一型に改正。11月15日、第7潜水隊は横須賀鎮守府隷下となる。1935年1月10日、横須賀に停泊中の伊2は、在日ドイツ海軍駐在武官パウル・ヴェネッカーの視察を受ける。1936年12月1日、第7潜水隊は第一艦隊第1潜水戦隊隷下となる。1937年8月21日、伊2は姉妹艦の伊1、伊3、伊4の他、伊5、伊6、戦艦長門、陸奥、榛名、霧島、軽巡洋艦五十鈴と共に多度津港を出港し、長江河口沿岸で23日まで作戦行動を行う。1938年6月1日、艦型名が伊一型に改正。1940年11月15日、第7潜水隊は潜水母艦長鯨、第8潜水隊、伊7と共に第六艦隊第2潜水戦隊を編成。これは、先代の第2潜水戦隊が1939年11月15日付で第3潜水戦隊に改名して以来、2代目となる。太平洋戦争開始時には第六艦隊第2潜水戦隊第7潜水隊に所属。1941年11月16日、伊2は稲田洋少佐（海兵51期）の指揮下に横須賀を出港し、オアフ島沖合に進出。真珠湾攻撃ではオアフ島北方沖合で哨戒任務につく。12月31日、マウイ島カフルイへ砲弾10発を発射。1942年1月9日、伊18が発見した米空母レキシントンの捜索に向かう。その後22日にクェゼリンに到着。24日にクェゼリンを出港し、2月1日に横須賀に帰投した。2月12日、伊2は横須賀を出港し、16日にパラオに到着して特設運送船(給油船)富士山丸から燃料補給を受ける。17日に出港し、22日にセレベス島南東岸のスターリング湾に寄港。22日1630に出港した後、オーストラリア南西沖に進出する。3月1日、バリ島南方で輸送船2隻へ向け攻撃を仕掛け、うち蘭貨物船パリギー（Parigi、1,172トン）を砲雷撃により撃沈した。パリギーの生存者8名はヤラに救助されたが、ヤラも4日に重巡洋艦愛宕、高雄、摩耶、駆逐艦嵐、野分の攻撃を受けて沈没した。2日、もう1隻の輸送船こと、蘭貨客船ジェネラル・ヴァースピック（Generaal Verspyck、1,213トン）に攻撃を仕掛けるも失敗。11日未明、南緯00度23分 東経95度41分のパダン南方60浬地点付近で、カルカッタからパダンへ向かっていた英ブリティッシュ・インディア海運貨客船チルカ（Chilka、4,360トン）を発見。0023、チルカの左舷後部の近くに浮上して砲撃を開始し、チルカも応戦した。その後、伊2は25分の間に14発を命中させ、チルカの搭載砲を使用不能にした。このため、チルカは機関停止と救難信号発信の後総員退去が行われ、その後南緯00度30分 東経95度50分の地点で沈没した。14日、伊2はペナンに到着した。22日、伊2はペナンを出港し、31日にトリンコマリー沖合に到達。偵察と気象情報の通報に従事する。4月7日、中型貨物船を撃沈したと報告したが、連合軍側に該当船舶はない。15日、シンガポールに到着。21日にシンガポールを出港し、5月1日に横須賀に帰投した。6月10日、アリューシャン攻略作戦の支援を行うべく、特設運送船(給油船)帝洋丸から燃料補給を受ける。翌11日、横須賀を出港。20日、K散開線に到達して哨戒に従事。7月17日、ダッチハーバー南方100浬地点付近でソ連商船とタンカーへ砲弾24発を発射したが、荒天により命中しなかったうえ、接近するカタリナを発見して潜航退避。8月1日、横須賀に帰投して整備を受ける。20日、第2潜水戦隊の解隊に伴い、第7潜水隊は第六艦隊付属となる。9月8日1200、伊2は横須賀を出港し、15日にトラック島に到着。17日にトラックを出港し、26日にショートランドに到着。この時、駆逐艦綾波と天霧が大発4隻、88式7.5cm野戦高射砲1門、軍用トラック1台、96式中迫撃砲若干をショートランドまで輸送しており、伊2と伊3はこれら輸送物資と大発をガダルカナル島へ輸送することになった。ショートランドを基地としてガダルカナル島へ4回、ラッセル諸島へ1回の輸送任務に従事した。10月11日日没後、カミンボで輸送物資を降ろしてからガダルカナル島西方沖合に向かうが、途中で変速装置の不調と空調装置の故障に悩まされた。12日2100、サボ島西方沖合で米駆逐艦マッカーラ (USS McCalla, DD-488)を発見するも、攻撃地点への移動に失敗した。後、サボ島西方15浬地点付近で、古鷹のものと思われる空の救命ボートと水上機のフロートを発見した。11月3日、伊2はトラックに帰投し、特設工作艦浦上丸、特設潜水母艦日枝丸による修理と整備を受ける。19日、伊2はトラックを出港し、22日にラバウルに到着。24日にラバウルを出港し、25日にショートランドに到着。27日、大発と輸送物資を搭載してショートランドを出港し、29日にカミンボに到着して輸送物資を降ろす。しかし、途中で大発が機関故障を起こし、後に自沈処理がされた。伊2はその後出港し、12月2日にショートランドに到着した。3日1630、輸送物資20トンと便乗者17名を乗せてショートランドを出港し、5日夕方にカミンボに到着して輸送物資を降ろす。しかし、病人が艦内で発生した。伊2は2300に出港し、12月7日にショートランドに到着した。9日、輸送物資を乗せてショートランドを出港するも、11日に伊3の沈没を受けて作戦が中止され、13日にショートランドに到着した。14日、ショートランドを出港して航行中、米海軍潜水艦ワフー (USS Wahoo, SS-238) に発見され、魚雷3本を発射される。魚雷は全て外れ、外れた魚雷の爆発音で伊2は攻撃を受けたと気づいたが、航空機からのものだと判断していた。17日、トラックに到着する。1943年1月16日、伊2はトラックを出港し、20日にラバウルに到着。22日、大発と輸送物資を搭載してラバウルを出港し、26日にカミンボに到着するも、航空機と魚雷艇の哨戒を受けて予定を1日延期した。27日夕方、浮上して輸送物資15トンを揚陸中に魚雷艇2隻に発見される。伊2は作業を中止して潜航し、カミンボを出港した。31日、ラバウルに到着する。2月9日、伊2はラバウルを出港し、11日、ショートランドに寄港し、沈没時に機密文書の処分が不徹底だった伊1の雷撃処分に向かう。13日夕方、カミンボに到着して伊1を捜索するも、暗闇による視界不良で発見できなかった。15日夜、伊1の捜索中に米魚雷艇の爆雷攻撃を受けたほか、哨戒機の追跡を受ける。なんとか振り切ったものの、損傷を受けたため捜索を中止し、18日にショートランドに寄港した後23日にトラックに到着。26日にトラックを出港し、3月5日に横須賀に到着して整備を受ける。16日、艦長が森永正彦少佐（海兵59期）に交代。4月1日、第7潜水隊は第五艦隊に移籍する。15日、艦長が板倉光馬大尉（海兵61期）に交代。5月22日1430、伊2はキスカ島撤退作戦に参加するため横須賀を出港し、27日0407に幌筵に到着。30日0800、伊2は弾薬を詰めた箱250箱、12.7mm機銃弾140発、7.7mm機銃弾2380発、小銃弾2800発、郵便物47個、治療品3個、食料若干を積んで幌筵を出港。6月4日1820、キスカ島キスカ湾に到着して輸送物資を揚陸し、海軍兵士18名、陸軍兵士4名、工員17名、技術者3名の計42名と、海軍兵士9名、陸軍兵士4名の遺骨、計13柱、航空基地用物品、ガス容器25本、打殻薬莢若干を収容して2000に出港。8日1955、幌筵島片岡湾に到着する。この時の停泊中、隊内で発生した水難事故を契機に、板倉艦長は艦内の酒をすべて処分しようとして、乗員と共に艦内の酒を飲み尽くした。酒宴の間は酒の飲めぬ乗員に甲板を見張らせ落水防止のために絶対誰も甲板に出すなと厳命したが、その当の板倉艦長が甲板に登り、部下に｢異常ないか？、誰も甲板に上がっていないな？｣と確認したのちに甲板から立ち小便をしている最中にバランスを崩して0度近い水温の海に転落し気絶。見張り勤務の部下に救出され、甲板上で蘇生措置を受けて九死に一生を得た。その後、この騒ぎに気付いた特設潜水母艦平安丸（日本郵船、11,616トン）から「イカニサレシヤ」との信号を受ける。伊2は艦長が海に転落したことをごまかすため、「溺者救助訓練ヲ実施セリ。作業完了、異状ナシ」と返信した。この騒ぎで、板倉艦長は「不死身」のあだ名を奉られる。11日1400、伊2は120mm高角砲弾40発、25mm機銃弾3000発、郵便物10個、食料約6トンを積んで片岡湾を出港。16日、濃霧の中を北へ向けて浮上航走中に艦位確認を行い、そのまま航海を続けた。その後、艦位確認の結果バルディア島の岩礁のそばを通過しており、奇跡的に座礁せずに済んでいたことがわかった。翌17日0515、キスカ島南西沖合5浬地点を浮上航走中、米軍のレーダー射撃を受け、左舷短艇格納庫に被弾するも不発。急速潜航をおこなったが、その後7時間にわたって追跡される。その後、機関室から若干の燃料漏れがあり、急いで被害調査が行われた。18日1605、伊2はキスカ島七夕湾に到着して輸送物資を揚陸し、海軍軍属31名、陸軍兵士3名、陸軍軍属6名、計40名を収容して1645に出港。22日0615に片岡湾に到着した。29日1600、伊2は第一水雷戦隊によるキスカ島撤退作戦第2期作戦の支援のために片岡湾を出港。7月5日2345、アムチトカ島近海を濃霧の中浮上航走中、板倉艦長は「殺気を感じて」急速潜航。直後、海面で砲弾の炸裂音がした。この時、伊2へ米軍からのレーダー射撃が行われており、間一髪回避に成功。その後18時間にわたる追跡と爆雷攻撃2回を受ける。爆雷攻撃では爆雷7発が至近で爆発したものの、逃げ切ることに成功した。9日、アダック島クルック湾北方沖合に到達して哨戒と気象情報の通報を行う。13日夕方、浮上充電中に爆撃を受けるも、潜航して回避する。15日、作戦中止を受けとる。22日、キスカ島が米艦隊に砲撃されているとの報告を受けてキスカ島へ向かい、聴音で複数の艦船の行動音を聴取するも、濃霧により敵艦隊の視認に失敗。24日、再度第一水雷戦隊によるキスカ島撤退作戦第2期作戦が行われるためアムチトカ島北東のD散開線に到達して作戦の支援を行う。29日1625、アムチトカ島コンスタンチン湾にある米軍飛行場の砲撃に向かうも、濃霧により中止。8月4日、片岡湾に到着した。6日に片岡湾を出港し、11日に横須賀に到着して整備を受ける。9月10日、横須賀港内にある吉倉防波堤に衝突して小破したため、修理を受ける。10月9日、伊2は横須賀を出港し、14日に幌筵に到着。15日に幌筵を出港し、アリューシャン列島西方で哨戒任務に従事する。11月1日、アムチトカ島沖で輸送船1隻を雷撃により撃沈したと報告するが、連合軍側に該当船はない。12月1日、横須賀に帰投して整備を受ける。20日、艦長が山口一生少佐（海兵61期）に交代。1944年2月1日、第7潜水隊は第六艦隊に復帰した。3月10日、伊2は横須賀を出港し、19日にトラックに入港。26日、輸送物資を乗せてトラックを出港し、4月2日にニューブリテン島キンベ湾に到着して輸送物資を揚陸して出港。4日にラバウルに到着。同日ラバウルを出港していくのを最後に消息不明。11日にトラックに到着する予定だった。アメリカ側記録によると、7日0630、ビスマルク海を哨戒中の米駆逐艦「ソーフリー」は聴音で潜航中の潜水艦を探知。0645に爆雷9発を投下し、その30分後に再度爆雷9発を投下した。この攻撃後、海中で2回の爆発音を聴取し、0723には重油の流出を確認した。これが伊2の最期であり、艦長の山口一生少佐以下乗員110名全員戦死。沈没地点はニューハノーバー島西北西50浬地点付近、南緯02度17分 東経149度14分。5月4日にニューアイルランド島方面で戦没と認定され、6月10日に除籍された。撃沈総数は2隻であり、撃沈トン数は5,532トンである。