时，2003年4月3日他在记者会说「我在这儿以部长的名义说中国局部地区已经有效地控制了非典型肺炎的疫情...到中国来工作、旅游、开会也是安全的」。4月26日，中华人民共和国国家主席胡锦涛发布第三号《中华人民共和国主席令》，根据中华人民共和国第十届全国人民代表大会常务委员会第二次会议，免去张文康的卫生部部长职务；任命吴仪兼任卫生部部长。然而2003年10月，他出任宋庆龄基金会副主席，2005年当选为全国政协教科文卫体委员会副主任委员。