Stafylidis doorliep de jeugdopleiding van PAOK Saloniki. Hiervoor maakte hij op 20 november 2011 op zeventienjarige leeftijd zijn debuut in het eerste elftal, tegen Panetolikos. Hij gaf die wedstrijd een assist. Nadat hij met het Grieks voetbalelftal onder 19 de finale bereikte op het Europees kampioenschap 2012, ontstond er belangstelling van Bayer Leverkusen. Stafylidis tekende een contract tot 2018 bij club uit de Bundesliga, waarbij werd bepaald dat hij tot de zomer van 2013 nog voor PAOK zou uitkomen. In het seizoen 2013/14 zat Stafylidis enkele keren op de reservebank van het eerste van Bayer Leverkusen, waarbij het tot één invalbeurt kwam. Op 30 november 2013 kwam hij in de 83e minuut in het veld voor Gonzalo Castro. Verder speelde hij voornamelijk in het tweede elftal. Leverkusen verhuurde Stafylidis in het seizoen 2014/15 aan Fulham, dan uitkomend in het Championship. Een optie tot koop werd niet gelicht. Stafylidis tekende in augustus 2015 een contract tot medio 2017 bij FC Augsburg, de nummer vijf van de Bundesliga in het voorgaande seizoen. Dat nam hem voor een niet bekendgemaakt bedrag over van Bayer Leverkusen. In zijn verbintenis werd een optie voor nog drie jaar opgenomen. In januari 2018 huurde Stoke City de Griekse vleugelverdediger voor de duur van een halfjaar. Medio 2019 verliep zijn verbintenis bij Augsburg, waarop hij voor vier seizoenen tekende bij 1899 Hoffenheim.