1937年（昭和12年）の第三次海軍補充計画（マル3計画）で建造が計画され、1937年11月16日に三菱重工業神戸造船所で起工。1938年（昭和13年）9月20日、本艦と他の各艦（親潮、夏潮、初風、伊18、伊22、第11号掃海艇、第12号掃海艇）は、それぞれ艦艇類別等級表に登録。1939年（昭和14年）1月25日進水、1940年（昭和15年）9月26日に竣工した。同日、横須賀鎮守府籍となり、横須賀鎮守府部隊所属となる。1941年（昭和16年）1月31日、伊18と共に第六艦隊第1潜水戦隊第2潜水隊を編成。これは、波9型からなる先代の第2潜水隊が、所属艦の除籍により1929年（昭和4年）4月1日に解隊されて以来、5代目となる。太平洋戦争開戦時には第六艦隊第1潜水戦隊第2潜水隊に所属。1941年（昭和16年）11月18日、伊20は呉を出港し、倉橋島亀ヶ首に移動。同地で特殊潜航艇甲標的を搭載した後、真珠湾攻撃に参加するため19日0215に出港。12月7日0257、真珠湾口151ﾟ、5,3浬地点付近で広尾彰少尉、片山義雄二等兵曹を乗せた甲標的を発進させる。搭載艇はワード号事件により撃沈された。9日早朝、ラナイ島南方沖の会合点を離れ、20日にクェゼリンに到着した。1942年（昭和17年）1月4日、伊20はクェゼリンを出港し、サモア、フィジー諸島方面に進出。11日、パゴパゴを砲撃。16日、スバ付近でニュージーランド揚陸艦モノワイ（en:HMNZS Monowai (F59)）を発見し、魚雷2本を発射するも、魚雷は全て早爆した。伊20は砲撃のため浮上して接近するも、モノワイから砲撃を受ける。伊20も反撃して船橋に1発を命中させたと判断したが、実際は命中弾はなかった。その後伊20は潜航し、モノワイは警報を発信しながら高速で去っていった。24日、クェゼリンに寄港し、2月1日に横須賀に到着。同日、第1潜水隊の伊15、伊17と入れ替わる形で、伊18と共に第1潜水隊に編入。3月10日、第1潜水隊は第8潜水戦隊に編入。16日、伊20は横須賀を出港し、呉に移動。4月16日、第1潜水隊の僚艦、伊10、伊30と共に甲先遣隊を編成し、呉を出港。18日、ドーリットル空襲を受け、小笠原諸島北方沖にいる米機動部隊の迎撃のために北東へ向かったが、空振りに終わった。27日、ペナンに到着し、水上機母艦日進により運ばれてきた甲標的を搭載。30日、伊30を除いた部隊は特設巡洋艦報国丸（大阪商船、10,438トン）、愛国丸（大阪商船、10,437トン）と共にペナンを出港。5月5日、10日、15日に報国丸、愛国丸から給油を受けた後、2隻と別れた。17日、波浪により機関室に浸水。排水作業を行った後、再度機関室に浸水するも、任務を続行した。20日、伊10の搭載機がダーバンを飛行偵察。30日、伊10の搭載機がマダガスカル島ディエゴ・スアレスを飛行偵察し、戦艦1他多数の艦船の在泊を報告してきた。31日1740、ディエゴ・スアレス港の攻撃を行うべく、ディエゴ・スアレス沖10浬の地点で秋枝三郎大尉、乗組員竹本正巳一等兵曹を乗せた甲標的を発進させる。搭載艇は2025に英戦艦ラミリーズへ向け魚雷1本を発射。魚雷はラミリーズの左舷A砲塔前部に被雷し、前部15インチ砲の弾薬庫などが浸水した。2120、英コルベットジェニスタ（en:HMS Genista）、タイム（en:HMS Thyme (K210)）が爆雷攻撃を行う中、英タンカーブリティッシュ・ロイヤルティ（British Loyalty、6,993トン）に向け、残る魚雷1本を発射。魚雷は命中し、ブリティッシュ・ロイヤルティは沈没した。その後艇がノシ・アレス島に座礁したため搭乗員は艇を放棄してマダガスカル島アンタラブイ近くに上陸し、6月2日に会合地点付近のアンドラナボンドラニナという小集落でイギリス軍部隊との銃撃戦により戦死した。6月3日、伊20は浮上して搭載艇と接触をとろうとしたが、失敗に終わった。5日、南緯13度12分 東経42度06分の地点でパナマ貨物船ジョンズタウン（Johnstown、5,086トン）を発見し、雷撃により撃沈。8日、南緯05度05分 東経40度53分の地点でギリシャ貨物船フリストス・マルケトス（Christos Marketos、5,209トン）を発見し、雷撃により撃沈。11日、南緯14度37分 東経40度58分の地点で、英貨物船マーロンダ（Mahronda、7,926トン）を発見し、雷撃により撃沈。12日、南緯14度40分 東経40度53分の地点で、パナマ貨物船ヘレニック・トレーダー（Hellenic Trader、2,052トン）を発見し、砲撃により撃沈。同日、南緯16度25分 東経40度10分の地点で、英貨物船クリフトン・ホール（Clifton Hall、5,063トン）を発見し、雷撃により撃沈。17日、報国丸、愛国丸との会合点に到着し、燃料と食糧の補給を受けた。29日、南緯13度25分 東経41度53分の地点で、アデンからロレンソ・マルケスへ向かっていたノルウェー貨物船ゴヴィケン（Goviken、5,063トン）を発見し、雷撃。魚雷が命中した同船は20分で沈没した。30日、南緯09度00分 東経42度00分の地点で、英タンカーステアウア・ロマナ（Steaua Romana、5,311トン）を発見し、主砲弾15発を発射して1発を命中させた。そのうち、ステアウア・ロマナが反撃してきたため、潜航して九五式酸素魚雷を発射するも、魚雷は早爆した。ステアウア・ロマナは煙幕を張りながら逃げようとするも、伊20はそれをものともせず魚雷を発射。魚雷は命中し、ステアウア・ロマナは沈没した。その後、伊20は連合軍の無線通信を傍受してステアウア・ロマナの船名を確認した。7月5日、魚雷の早爆の原因を探るため、九五式酸素魚雷1本を分解して調査した。21日、アデン湾に進出して哨戒を行い、同日中に哨戒区域を離れた。8月5日、ペナンに到着。その後、ペナンを出港する。23日、横須賀に到着し、整備を受ける。10月24日、伊20は横須賀を出港し、ショートランドに移動。11月5日、水上機母艦千代田により輸送されてきた甲標的を搭載し、同日夜に出港。7日0520、ガダルカナル島エスペランス岬沖4浬地点付近で、國弘信治中尉、井上五郎一等兵曹が乗った甲標的を発進させる。搭載艇はマハバ(USS Majaba, AG-43)、その近くに停泊していた米駆逐艦ランズダウン(USS Lansdowne, DD-486)を発見し、それぞれに魚雷1本ずつを発射。魚雷は1本がランズダウンの艦底下を通過して陸岸に命中したが、爆発しなかった。もう1本はマハバの右舷機関室に命中し、これを撃破した。マハバは沈没を防ぐため擱座された。艇はランズダウンと米駆逐艦ラードナー(USS Lardner, DD-487)の爆雷攻撃を受けるも被害はなかった。その後艇は自沈処理がされ、搭乗員はガダルカナル島に上陸した。伊20はトラックに向かった。13日、伊20はトラックで甲標的を搭載して出港。18日、発進地点に到着し、19日0300にエスペランス岬沖6浬地点付近で、三好芳明中尉、梅田喜芳一等兵曹を乗せた甲標的を発進させる。搭載艇は2分後に操舵装置からのオイル漏れが発生するも任務を続行。しかし、目標を見つけることはなく、0955にエスペランス岬付近で自沈処理がされ、搭乗員はガダルカナル島に上陸した。伊20はトラックに戻った。26日、伊20はトラックで甲標的を搭載して出港。12月2日、発進地点に到着し、19日0300にサボ島沖19浬地点付近で、田中千秋少尉、三谷護二等兵曹を乗せた甲標的を発進させる。3日、搭載艇は駆逐艦、輸送船を含む複数の目標を発見し、しばらく観察した後輸送船へ向け魚雷2本を発射。1回の爆発音を聴取する。その後艇は米駆逐艦の追跡を受けるも損害を受けなかった。その後、エスペランス岬付近で浮上後艇が浸水したため、艇は自沈処理がされた。搭乗員はガダルカナル島に上陸した。伊20はトラックに戻った。その後、伊20はゴム袋入りの輸送物資25トンを積んでトラックを出港し、31日にエスペランス岬沖に到着。輸送物資を降ろした後出港し、トラックに戻った。1943年（昭和18年）1月2日、トラックを出港してショートランドに移動。ゴム袋入りの輸送物資18トンを積んだ後出港し、7日にエスペランス岬沖に到着。輸送物資を降ろした後出港し、ショートランドに戻った。20日、輸送物資18トンを乗せた特型運貨筒を曳航して出港。22日にエスペランス岬に到着して特型運貨筒を切り離した後出港し、トラックに戻った。3月18日、伊20は食糧と弾薬、計30トンを乗せてトラックを出港し、21日にラエに到着して輸送物資を降ろした後出港し、トラックに戻った。その後食糧と弾薬を乗せてトラックを出港し、27日にラエに到着して輸送物資を降ろした後出港し、トラックに戻った。その後、輸送物資37トンを積んでトラックを出港する。4月2日、ニューブリテン島南方沖で潜航中、同じく潜航していた伊16と接触事故を起こすが、幸い被害はなかった。3日、ラエに到着して輸送物資を降ろした後、第18軍司令の安達二十三中将以下、第18軍首脳部を含む陸軍兵士39名を乗せて出港し、トラックに戻り便乗者を降ろした。その後、輸送物資30トンを積んでトラックを出港する。9日、ラエに到着して輸送物資を降ろした後、陸軍兵士42名を乗せて出港し、トラックに戻り便乗者を降ろした。その後、輸送物資37トンを積んでトラックを出港する。15日未明、ラエ付近で米哨戒機に発見され、照明弾を投下されて照らされたため潜航退避。その後ラエに到着して輸送物資を降ろした後、陸軍兵士40名を乗せて出港し、トラックに戻り便乗者を降ろした。その後食糧と弾薬を乗せてトラックを出港し、20日にコロンバンガラ島に到着して輸送物資を降ろした後出港し、トラックに戻った。その後、輸送物資39トンを積んでトラックを出港する。5月2日、ラエに到着して輸送物資を降ろした後、陸軍兵士31名を乗せて出港し、トラックに戻り便乗者を降ろした。その後、輸送物資39トンを積んでトラックを出港する。8日、ラエに到着して輸送物資を降ろした後出港し、20日に横須賀に到着して整備を受ける。8月4日、伊20は横須賀を出港し、10日にトラックに到着。航海中の9日、第1潜水隊は第1潜水戦隊に編入。19日、伊20はトラックを出港し、ニューヘブリディーズ諸島周辺海域に進出。30日、エスピリトゥサント島付近で空母1、戦艦2からなる米機動部隊を発見。31日、南緯15度51分 東経167度02分のブーゲンビル海峡北方10浬地点付近で米タンカーW・S・リーム（W. S. Rheem、10,872トン）を雷撃し、撃破したという報告を最後に消息不明。アメリカ側記録によると、9月3日1935、W・S・リームが被雷したことで哨戒中の米駆逐艦エレット(USS Ellet, DD-398)のレーダーが12km先に光点を示したため、4600mの距離まで接近し、相手の潜水艦に対しモールス信号で応答を求めたが、応答はなかった。そのため照明弾を打ち上げたところ、3100mの距離で急速潜航していった。まもなく、270mの距離で潜航中の潜水艦をソナー探知し、2012に爆雷攻撃を開始。攻撃は2038まで続けられ、2059に潜水艦を見失った。翌4日夜明けごろ、エレットは潜水艦のものと思われる破片と、大きな重油の帯が会場を漂うのを発見した。これが伊20の最期の瞬間であり、艦長の大塚范少佐以下乗員101名全員戦死。沈没地点はエスピリトゥサント島近海、南緯13度10分 東経165度28分。また、付近を行動中の伊182も、1日にW・S・リームが被雷したことで哨戒中の米駆逐艦ワズワース(USS Wadsworth, DD-516)の攻撃を受けて撃沈された。25日、第1潜水隊の解隊に伴い、既に戦没していた伊20は書類上第2潜水隊に編入。11月18日、エスピリトゥサント島方面で亡失と認定され、12月1日に除籍された。撃沈総数は8隻であり、撃沈トン数は42,703トンである。撃沈隻数では帝国海軍潜水艦の中では伊165と並んで第5位を誇る(撃沈トン数の5位は47,942トンを撃沈した伊37)。撃破総数は3隻であり、撃破トン数は41,099トンである。