1100年ころ、難波にいた長者のもとに男性がやって来て長者の娘との結婚を願うが、そのとき家の天井裏から「この娘はおれがもらう娘だ」と怖ろしい鬼のような声が響く。おそれおののいた男性が逃げようとすると「命を取ろうか、顔を取ろうか」と再び声が響いて来たので、長者の親たちがとっさに「顔」と答えたところ男性は何物かによって顔を吸われてしまい、端正だったその顔は鼻のまわりに目鼻の寄ってしまった全く別の顔になってしまった。天井裏から響いて来た鬼のような声の主が「すいこみ」であると考えられるが、姿かたちはどのようなものかは不明である。
東京府にて大蔵省専売局の官吏の第5子（末子）として生まれた。小学校に入学して間もなく父の転任で京都に転居。9歳で木琴を始める。小学校4年の3学期で東京に戻る。当時は病弱で、小学校5年と6年の2年間に10ヶ月間病欠し、骨膜炎で片脚切断の寸前まで行ったことがある。1945年5月、旧制中学1年生のとき空襲で罹災したため親類を頼って金沢市に疎開。2学期間、旧制金沢第一中学校（現・石川県立金沢泉丘高等学校）に学ぶ。敗戦後、父の勤めの関係で岐阜県瑞浪に転居、ここで1年半を過ごし、旧制多治見中学校（現・岐阜県立多治見高等学校）に通学。1947年、旧制東京都立第一中学校（現・東京都立日比谷高等学校）の編入試験に失敗して学習院中等科に編入学。学習院高等科2年の時、映画『オーケストラの少女』を観て感動し、音楽家を志すに至る。同校在学中から放送局で木琴を独奏する。1951年、学習院高等科を卒業。東京大学独文学科への進学を志していたが第二次試験の前の晩に高熱を発して受験を断念。現役で東京芸術大学音楽学部器楽科打楽器部に進んだが、1年生の終わり頃から学内規則を破って近衛秀麿のオーケストラでティンパニを演奏し始め、授業に出ることなく1年分の単位も取得しないまま6年間在学ののち中退。学校には１年後輩の友人山本直純と後輩たちに声を掛け合って集めた学生オーケストラを指揮するために顔を出す一方で、山本とともに東京芸大指揮科教員渡邉暁雄の音羽の自宅や目白の齋藤秀雄指揮教室にたびたび通って指揮のレッスンを受けた。当時の東京芸大音楽学部には専攻によって根強い差別が存在し、作曲科と指揮科が階級の最上位に属し、次いでピアノ科、その下が弦楽器科、残りは全て「被差別民族」であり、その中で最下位に属するのが管・打楽器部で、特に「タイコは管・打というように、順番からして管の次なのだから、タイコ屋は、下層中の下層、少数中の少数で年中差別を感じているような状態だった」「ピアノ科の女の子とつきあおうとして、『お父さまにタイコの人なんかと友達になっちゃいけないっていわれたのヨ』なんて追っ払われたことが何度もある」と岩城は語っている。学生時代から、各所の音楽ホールに忍び込み、観客席ではなく舞台裏などで音楽を聴くことを繰り返していてブラックリスト扱いになっていた。指揮者を正面から見るために、舞台上の管楽器用のヒナ段の中に忍び込んでコンサートを聴くこともたびたびであった。数々の悪行に岩城が指揮者に就任したのちも、舞台関係者に誤って不法侵入者扱いされたことがある。NHK交響楽団初代事務長有馬大五郎からの誘いと推薦により、1954年（芸大4年）の9月からNHK交響楽団指揮研究員として副指揮やライブラリアンの仕事を始め、1960年NHK交響楽団世界一周演奏旅行では常任指揮者ヴィルヘルム・シュヒター、指揮研究員同僚の外山雄三とともに指揮者陣のひとりとして同行、ヨーロッパ・デビューを果たす。これが機縁となり、1963年、ベルリン・フィルハーモニー管弦楽団に招かれてオール・チャイコフスキー・プログラムを指揮した。1970年の日本万国博覧会開会式ではNHK交響楽団が当日の式典での楽曲演奏を担当し、岩城がタクトを揮っている。1977年、急病のベルナルト・ハイティンクの代役として、日本人として初めてウィーン・フィルハーモニー管弦楽団定期演奏会の指揮台に登り、ベルリオーズの幻想交響曲他を指揮した。翌シーズンのウィーン・フィル定期にも登場、バルトークの管弦楽のための協奏曲他を指揮した。そのほか、ライプツィヒ・ゲヴァントハウス管弦楽団やロイヤル・コンセルトヘボウ管弦楽団の指揮台にも立った。晩年の顕著な活動としては、2004年12月31日の昼から翌2005年1月1日の未明にかけて、東京文化会館でベートーヴェンの全交響曲を1人で指揮したことが知られている（ベートーヴェンは凄い! 全交響曲連続演奏会）。同様の公演は、翌2005年12月31日にも東京芸術劇場で行われた。なお、2回目の公演では、岩城の健康面に配慮し、途中1時間の休憩時間を設けたり、日野原重明医師を聴衆として立ち会わせ、休憩時間に体調チェックを行ってプログラムを消化していった。この演奏会はインターネットでもストリーミング中継された。1987年、指揮者の職業病ともいうべき頸椎後縦靭帯骨化症を患ったのを皮切りに、1989年胃がん、2001年喉頭腫瘍、2005年には肺がんと立て続けに病魔に襲われたものの、その度に復活し、力強い指揮姿を披露した。しかし、2006年5月24日、東京・紀尾井ホールで東京混声合唱団の指揮後、体調を崩して入院。同年6月13日午前0時20分、心不全のため都内の病院にて没した。73歳没。岩城は「初演魔」として知られ、特に岩城自身が音楽監督を務めるオーケストラ・アンサンブル金沢では、コンポーザー・イン・レジデンス（専属作曲家）制を敷き、委嘱曲を世界初演することに意欲を燃やした。また、黛敏郎の作品を精力的に指揮した。名古屋フィルハーモニー交響楽団初代音楽総監督、NHK交響楽団正指揮者、オーケストラ・アンサンブル金沢音楽監督、東京混声合唱団音楽監督、京都市交響楽団首席客演指揮者、札幌交響楽団桂冠指揮者、メルボルン交響楽団終身桂冠指揮者を務めた。ピアニストの木村かをりは妻。指揮活動のほかにも、打楽器奏者としての演奏活動、テレビ・ラジオへの出演、プロデューサー、音楽アドバイザー、執筆など多彩な活動を行った。また、東京藝術大学指揮科客員教授として後進の育成にも当たった。