004年11月19日发生了臭名昭着的“奥本山宫殿事件”，事件使球队元气大伤，常规赛结束时仅以44胜38负名列东部第六。在2005年季后赛首轮大战七场淘汰波士顿凯尔特人后，步行者队在东部半决赛再遇底特律活塞，同样以2-4落败。赛季结束后，球队的功勋球员雷吉·米勒宣布退役。
奥本山宫殿事件.2004年11月19日，底特律活塞队在奥本山宫殿主场大比分输给印第安那熘马，并造成了一场暴力冲突。当比赛快结束时，活塞队球员班·华勒斯上篮被罗恩·阿泰斯特貌似恶性犯规，华勒斯随后脑羞推了亚泰斯特，亚