球队主力杰梅因·奥尼尔和老将雷吉·米勒相继续约。2003-04年赛季，新任主教练瑞克·卡莱尔率领步行者队在常规赛季取得61胜21负的NBA最好成绩，创下了球队历史上的胜率新纪录。2004年季后赛首轮步行者队横扫波士顿凯尔特人，接着总比分4-2淘汰劲旅迈阿密热火，11年中第6次杀入东部总决赛，但在决赛中以总比分2-4不敌底特律活塞。2004-05年赛季，基本保持原有阵容的步行者队原本有希望再次冲冠，但2004年11月19日发生了臭名昭着的“奥本山宫殿事件”，事件使球队元气大伤，常规赛结束时仅以44胜38负