Im Achtelfinale der Europameisterschaften 2004 in Kroatien verlor er diesmal gegen Andrij Fedtschuk, gewann jedoch den Acropolis Cup mit Siegen gegen Clemente Russo, Yoan Hernández und Beibit Schümenow. Damit hatte er sich für die Olympischen Spiele 2004 in Athen qualifiziert und besiegte dort Taylor Mabika und Ali Ismayilov. Im Viertelfinale verlor er schließlich umstritten beim Kampf um den Einzug in die Medaillenränge durch Abbruch gegen Ahmed Ismail. Vor der dritten und letzten Runde war Pavlidis mit 18:12 Punkten in Führung gelegen, ehe der indonesische Ringrichter Pavlidis aufgrund eines Cuts über dem linken Auge aus dem Kampf genommen hatte. Der anschließende Protest des griechischen Boxverbandes wurde vom Weltverband AIBA abgewiesen. Damit verpasste Pavlidis die Chance, als erster griechischer Boxer eine Olympiamedaille zu gewinnen.