文斯、克里斯·加特林外加两个未来选秀的名额一同交换去了密尔沃基雄鹿。2003年6月27日，雄鹿将他和欧文·约翰逊交易去了明尼苏达森林狼以换取乔·史密斯和安东尼·皮勒。2005年8月12日，森林狼又将卡塞尔和一个未来选秀权与洛杉矶快船的马科·贾里奇和莱昂内尔·查默斯进行了交易。
洛杉矶快船时期.卡塞尔在快船队中找到了稳定的感觉，一直担当着球队的首发控球后卫；这位NBA老将带领球队历史性的杀入了2006年季后赛NBA西部联盟的半决赛，球队在季后赛首轮淘汰了丹佛掘金，但最终和太阳队的系列