1937年（昭和12年）の第三次海軍補充計画（③計画）によって計画され、1939年（昭和14年）1月7日に川崎重工業神戸造船所にて起工。1940年（昭和15年）2月24日に進水し、1941年（昭和16年）7月15日に竣工した。竣工と同時に横須賀鎮守府籍となり、伊22と共に第六艦隊第1潜水戦隊第3潜水隊を編成。これは、呂1型、海中1型、海中2型からなる先代の第3潜水隊が、所属艦の除籍により1932年（昭和7年）4月1日に解隊されて以来、5代目となる。太平洋戦争開戦時は第六艦隊第1潜水戦隊第3潜水隊に所属。20日、伊21は横須賀を出港し、23日1330に単冠湾に到着。26日、第一航空艦隊と共に単冠湾を出港し、ハワイへ向かった。8日、真珠湾攻撃を行う艦隊から別れ、オアフ島北方沖に移動し哨戒。9日、伊6がオアフ島沖を東北東へ向け航行中のレキシントン級空母1、巡洋艦2隻を発見したため、迎撃に向かった。11日、米空母エンタープライズ(USS Enterprise, CV-6)を発見して攻撃準備をしながら追跡中、機関故障と電気部分の故障により失敗。その後何回かSBD ドーントレスを発見したためその都度潜航して退避した。13日には空襲を受けるが、至近に着弾した爆弾が不発だったため被害はなかった。14日、アメリカ西海岸沿岸における通商破壊作戦に参加し、アルグエロ岬沖に進出。23日、北緯35度35分 西経121度16分のピエドラス ブランカス灯台南方4浬地点付近でポート・サン・ルイスからバンクーバーに向かっていた米ユニオン・オイル社タンカーモンテベロ（Montebello、8,272トン）を発見し、2000mの距離から魚雷2本を発射。2本とも命中(1本は不発)したモンテベロは放棄され、伊21は砲撃を行った。1時間後、モンテベロは沈没した。午後、北緯35度00分 西経121度00分のエステロ湾近海で米タンカーアイダホ（Idaho、6,418トン）を砲撃により撃破した。24日0800、潜航中に爆雷攻撃を受ける。伊21では哨戒艇によるものと判断していたが、実際は米PBY カタリナによるものだった。爆雷2発が至近で爆発したため、横舵が破損したほか、照明全てが割れて艦内は真っ暗となった。その後浮上砲戦をしようとしたが、直前に予備照明の点灯と操舵機の復旧ができた。1942年（昭和17年）1月11日、クェゼリンに到着。23日、クェゼリンを出港し、2月1日に横須賀に到着した。3月10日、第3潜水隊は第8潜水戦隊所属となり、瀬戸内海で訓練に従事。16日、伊21は呉を出港。18日、ドーリットル空襲が起こったため米機動部隊の捜索を行うが、見つけることはできなかった。その後トラックに到着。27日、トラックを出港しヌーメアに向かった。5月2日、浮上航走中に米空母ヨークタウン(USS Yorktown, CV-5)から発進したドーントレスに発見される。ドーントレスはヨークタウンに戻って通信筒で報告。報告を受け、爆雷2発を搭載したTBD デバステーター3機が発進。その後、伊21は接近するデバステーターを発見して急速潜航した。1時間後、再度浮上したところ、後部甲板に多数の爆弾の破片があるのがわかった。5日、ヌーメア近海でドラム缶入りのガソリン2000トンを輸送中の米リバティ船ジョン・アダムス（John Adams、7,176トン）を発見。2時間の追跡の後、南緯23度11分 東経165度08分の地点で魚雷2本を発射。魚雷はジョン・アダムスに2本とも命中し、同船を撃沈した。ジョン・アダムスは太平洋戦争で撃沈された最初のリバティ船だった。7日0630、南緯22度59分 東経166度29分のヌーメア西方20浬地点付近でギリシャ貨物船クロエ（Chloe、4,641トン）の推進器音を聴取したため魚雷2本を発射したが、どちらも早爆した。その後浮上し、主砲弾70発を発射してクロエを撃沈した。撃沈後、救命艇に横付けして食糧を提供し、ヌーメアへ向かうよう指示した。8日、大型輸送船を発見して雷撃するも命中せず、浮上して砲撃を行ったが、その最中に哨戒機を発見して潜航退避した。哨戒機は爆雷6発を投下してきたが、伊21に損害はなかった。14日、哨戒区域を離れる。19日早朝、スバを飛行偵察し、グラスゴー級軽巡洋艦1、潜水艦7の在泊を報告。24日早朝、オークランドを飛行偵察したが、スコールにより失敗。このとき、オークランドの飛行場上空を搭載機が飛行中、味方機と思われたらしく飛行場の着陸灯が点灯したという。29日、特殊潜航艇によるシドニー港攻撃に参加。シドニー北東35浬地点付近に進出し、シドニーを航空偵察。この際、搭載機はサーチライトに捉えられたが、脱出に成功。0420、停泊中の米重巡シカゴ(USS Chicago, CA-29)を発見し、戦艦と判断した。また、蘭病院船オランジェを発見している。搭載機は当初米軍機と思われていた。その後オーストラリア空軍の戦闘機が迎撃に向かったが、見つかることはなかった。着水時、搭載機が転覆したため、伊21は搭乗員を救助した後搭載機を処分した。31日に攻撃が行われ、伊21は甲標的の帰還を6月3日まで待った。8日0215、ニューキャッスルの造船所へ向け砲撃を開始。13分後、反撃の砲弾4発を発射されるが、その後も3分間砲撃を行い、主砲弾34発を発射。その後、メルボルンへ向かう輸送船団を発見するも、攻撃に失敗。11日、レーダーを装備した駆逐艦の追跡を受けるが、振り切ることに成功。12日0114、シドニー沖40浬地点付近でニューキャッスルからワイアラへ向かう輸送船8隻からなる輸送船団を発見し、浮上したまま船団内の輸送船2隻へ向け魚雷4本を発射。4200トンのコークスを輸送中のパナマ貨物船グアテマラ（Guatemala、5,527トン）に命中し、グアテマラは1時間後に沈没した。25日、クェゼリンに到着。その後クェゼリンを出港し、7月12日に横須賀に到着して整備を受ける。8月23日、伊21は横須賀を出港し、ソロモン諸島東方沖に進出。31日0800、エスピリトゥサント島北西沖で哨戒中、西方での爆雷攻撃の音を聴取。これは、米駆逐艦フェルプス(USS Phelps, DD-360)とマクドノー(USS Macdonough, DD-351)が、米空母サラトガ(USS Saratoga, CV-3)を撃破した伊26を攻撃する音だった。9月13日、横浜海軍航空隊所属の二式飛行艇が、ツラギ南南東345浬地点付近で米機動部隊を発見したため、迎撃に向かった。10月2日、エスピリトゥサント島を飛行偵察。10月7日、トラック近海で浮上航走中、4000mの距離で米潜水艦アルバコア(USS Albacore, SS-218)の潜望鏡を発見したため、アルバコアの方向へ艦首を向けたが、潜望鏡は見えなくなった。8日、トラックに到着。その後、伊21はトラックを出港し、ソロモン諸島方面へ向かった。27日0638、南緯15度30分 東経160度42分のインディスペンサブル礁南方150浬地点付近でコロラド級戦艦を発見。2秒間隔で魚雷を一斉発射し、1回の爆発音を聴取。魚雷1本は命中せず、1本は米戦艦ワシントン(USS Washington, BB-56)の後方で爆発した。その後護衛の駆逐艦の爆雷攻撃を受け、魚雷発射管3本が故障したため、装填された魚雷は艦内へ収容された。伊21は水深70mの位置へ移動し、2ノットの速力で離脱した。11月9日1747、ヌーメア近海で米リバティ船エドガー・アラン・ポー（Edgar Allan Poe、7,176トン）を発見し、魚雷1本を発射。魚雷は命中し、エドガー・アラン・ポーは放棄された。伊21は浮上して接近したが、エドガー・アラン・ポーからの砲撃を受けて潜航退避した。その後エドガー・アラン・ポーはヌーメアに曳航され、同地で全損と判断された。その後、トラックに戻った。15日、第3潜水隊の解隊に伴い、第1潜水隊に編入。21日、伊21はトラックを出港し、ショートランドへ移動。24日、魚雷2本を除いた全ての魚雷を陸揚げし、ゴム袋入りの食糧と便乗者20名を乗せてショートランドを出港。26日、カミンボに到着して輸送物資と便乗者を降ろした後、傷病兵44名を収容して出港し、ラバウルに移動した。傷病兵を降ろして魚雷を再度搭載した後の1943年（昭和18年）1月7日、ラバウルを出港してオーストラリア方面に向かった。15日、哨戒区域に到着。18日、南緯34度07分 東経153度15分の地点で、単独でシドニーからニュープリマスへ向かっていた豪貨物船カリンゴ（Kalingo、2,047トン）を発見し、魚雷2本を発射。その後浮上して砲撃を行った。損傷したカリンゴは放棄され、伊21はとどめの魚雷1本を発射してカリンゴを撃沈した。2150、南緯34度07分 東経153度15分の地点で、護衛を受けて航行中の米タンカーモービルーブ（Mobilube、10,222トン）を発見し、魚雷2本を発射。うち1本がモービルーブの機関室に命中し、モービルーブは航行不能となった。伊21は浮上して接近するが、小型の護衛艦の砲撃を受けて急速潜航した。その後、爆雷6発を投下されたが被害はなかった。モービループは近くの港に曳航されていった。22日、羊毛18154梱、郵便物123袋を積んでニューキャッスルを出港して航行中の米リバティ船ピーター・H・バーネット（Peter H. Burnett、7,176トン）を発見して魚雷2本を発射。1分38秒後、爆発音1回を聴取した。損傷したピーター・H・バーネットはシドニーへ曳航され、修理と改装を受けて米非分類雑役船ピーター・H・バーネット(USS Peter H. Burnett, IX-104)となった。25日、シドニーを飛行偵察し、重巡1、小型船10の在泊を報告。27日、輸送船3隻からなる輸送船団を発見したが、攻撃できなかった。30日、英領シンガポール船籍の貨物船ザン・アン（Giang Ann、1,063トン）を発見して雷撃するも、魚雷は早爆した。2月4日、輸送船4隻からなる輸送船団を発見したが、攻撃できなかった。8日、ニューサウスウェールズ州モンタギュー島沖15浬地点付近で、ワイアラからニューキャッスルへ向かう輸送船10隻からなるOC68船団を発見。鉄鉱石を積んで船団右列先頭を航行する英貨物船アイアン・ナイト（Iron Knight、4,812トン）へ向け魚雷を発射。魚雷はアイアン・ナイトの船橋下に命中し、同船は2分で沈没した。9日、軍需物資7000トンを積んでシドニーからニューカレドニアへ向かっていた米リバティ船スター・キング（Starr King、7,176トン）を発見し、追尾開始。翌10日、南緯34度15分 東経154度20分のポート・マッコーリー近海でスター・キングへ向け魚雷4本を発射。うち2本が命中したスター・キングは沈没した。19日、海岸線を飛行偵察し、写真撮影をした。このとき、搭載機はレーダー探知されたが、攻撃されることはなかった。23日、トラックに到着。その後トラックを出港し、3月3日に横須賀に到着して整備を受ける。5月6日、伊21は横須賀を出港。19日、第1期キスカ島撤退作戦に参加するため反転し、横須賀に戻った。21日、横須賀を出港し、幌筵に移動。第1期キスカ島撤退作戦では輸送任務を2回行った。18日、横須賀に移動してソナーの修理と逆探の装備が行われた後再度幌筵に移動し、輸送任務に従事。8月9日、横須賀に移動。9月11日、伊21は横須賀を出港し、トラックに移動。25日、トラックを出港し、フィジー諸島南方沖に進出。10月8日夜、スバを飛行偵察。16日、ニューヘブリディーズ諸島近海で輸送船を発見し雷撃するも、命中しなかった。11日、南緯22度08分 東経178度06分の地点で輸送船団を発見して魚雷を発射。魚雷は米軍兵士1348名を乗せてタウンズビルに向かっていた米貨客船ケープ・サン・フアン（Cape San Juan、6,711トン）に命中し、同船は後に沈没した。19日、ギルバート諸島に米軍が来襲したため迎撃に向かう。27日1808、タラワ北西沖で、タラワ南西30浬地点付近で、複数の米艦船を発見したとの報告を最期に消息不明。アメリカ側の記録によると、29日2157、タラワ近海で米護衛空母シェナンゴ(USS Chenango, CVE-28)から発進したTBF アベンジャーが潜水艦を発見し、これを撃沈した。これが伊21の最期の瞬間であり、艦長の稲田洋中佐以下乗員101名全員戦死。12月24日、ギルバート諸島方面で亡失と認定され、1944年（昭和19年）4月30日に除籍された。撃沈隻数は9隻、計53,538トンにのぼり、撃沈隻数、トン数ともに帝国海軍潜水艦の中では第4位を誇る。また、商船3隻、計23,816トンに損傷を与えた。