Nel 2003, insieme a Giōrgos Geōrgiadīs, passa all'Olympiakos, ritrova campioni, come Christian Karembeu, il brasiliano Giovanni e Stylianos Venetidīs compagno al , qui ritrova anche l'ex cagliaritano Fanīs Katergiannakīs. Dopo il vittoriosi europei in Portogallo 2004, ritrova anche il brasiliano Rivaldo e il portiere della nazionale greca Antōnīs Nikopolidīs e insieme vincono il campionato greco nel 2004-2005, 2005-2006 e nel &lt;a href="Souper%20Ligka%20Ellada%202006-2007"&gt;2006/2007&lt;/a&gt;. Kafes all'Olympiakos vince nuovante la Coppa di Grecia nelle stagioni 2004-2005 e nel 2005-2006. Il 28 settembre 2005 segna anche il goal del momentaneo pareggio pareggio al Bernabéu contro il Real Madrid in Champions League 2005-2006. Il 19 ottobre 2005, Kafes segna anche contro l'Olympique Lyonnais in UEFA Champions League, pareggiando il goal di Juninho Pernambucano.