此后，卡拉扬还作了对日本最后一次访问。1989年2月卡拉扬与维也纳爱乐在纽约最后一次演出，演奏了施特劳斯的圆舞曲和布鲁克纳的第八交响曲。不过此时卡拉扬的健康已明显恶化，这更加重了他和柏林爱乐以及当时柏林的政治人物之间的矛盾。当时的“红绿联盟”（即德国的SPD和德国绿党）公开批评卡拉扬责任的不到位：缺席音乐家的应聘试奏，越来越少的巡回演出，整个月整个月不在柏林。而卡拉扬无法忍受这一系列批评，于是在1989年4月24日，他书面递交辞呈，推去了在柏林爱乐的职务，从而结束了这对传奇组合的长期合作。此后，他回到威尔第