После победы на Олимпийских играх в Сиднее (2000) Пирроса Димаса преследовали травмы, которые вынудили его пропустить почти весь следующий олимпийский цикл. Он перенёс несколько операций, не смог полностью избавиться от болей в спине и кисти руки, но тем не менее принял решение выступать на Олимпийских играх в Афинах (2004), где ему была доверена честь нести флаг Греции на церемониях открытия и закрытия. Пиррос Димас был близок к завоеванию четвёртой золотой олимпийской медали, но обострение травмы не позволило ему успешно выполнить две последние попытки в толчке, и он занял по сумме двоеборья только третье место. Несмотря на эту относительную неудачу зал приветствовал его овацией и гимном Греции.