在2003-2004赛季受了重伤。卡拉泽伤病期间，马尔蒂尼从左后卫移到中后卫，而球队的左边锋塞尔吉尼奥也后撤至左边卫位置。2004-2005赛季，卡拉泽只在联赛及冠军杯中出场19次，球队也只获得联赛、冠军杯双亚军。此时的卡拉泽心灰意冷，曾寻求转会，切尔西曾对卡拉泽出价，但价格过低，被AC米兰拒绝。2005-2006赛季斯塔姆和马尔蒂尼相继受伤后，卡拉泽重新在中后卫位置上获得机会，与内斯塔一道铸成了坚固的后防线，曾连续五场不失一球。2005年夏季，卡拉泽与红黑军团续约至2010年，卡拉泽一度与内斯塔的搭档