1915年10月9日出生于河南省叶县。1933年9月至1937年7月，先后在北京市立第二中学、北京华北大学政治经济系读书。1936年，焦若愚参加中日战争，并于同年加入中国共产党。1945年，任沈阳市副市长、市委书记等职位。1965年，先后出任中华人民共和国驻朝鲜、秘鲁、伊朗大使。1979年，出任第八机械工业部部长，1981年1月到1983年3月任北京市市长、中共中央纪律检查委员会委员等职位。2012年8月14日，中共中央组织部部确认焦若愚为中国共产党第十八次全国代表大会代表，他亦是十八大代表中年龄最大的。2017年6月，成为中共十九大北京市党代表。在中共十九大代表中，焦若愚年龄最大。2020年1月1日上午9时12分在北京医院逝世，享嵩寿104岁。2020年1月7日上午举行告别仪式。