Na początku 2002 roku Markarián powrócił do Grecji, w połowie sezonu 2001/2002 zostając szkoleniowcem jednego z najbardziej utytułowanych klubów w kraju – Panathinaikos AO. W swoich pierwszych rozgrywkach doszedł z Panathinaikosem do ćwierćfinału Ligi Mistrzów, gdzie odpadł po przegranym dwumeczu z FC Barcelona; zdołał również zająć trzecie miejsce w lidze, premiowane awansem do Pucharu UEFA. W maju 2002 mimo dobrych wyników zrezygnował ze stanowiska trenera, tłumacząc swoją decyzję chęcią odpoczynku od futbolu, jednak już po pięciu miesiącach ponownie został zatrudniony przez Panathinaikos. W sezonie 2002/2003 dotarł z ekipą z Aten do ćwierćfinału Pucharu UEFA – tam, mimo zwycięstwa w wyjazdowym spotkaniu po bramce Emmanuela Olisadebe, odpadł po dogrywce w meczu rewanżowym z prowadzonym przez José Mourinho zespołem FC Porto, który okazał się później triumfatorem rozgrywek. Wywalczył także wicemistrzostwo Grecji – jego piłkarze uzbierali tyle samo punktów co Olympiakos SFP, lecz z powodu gorszego bilansu bramkowego zajęli dopiero drugie miejsce w ligowej tabeli. Jego podopiecznymi w Panathinakosie było pięciu zawodników, którzy w 2004 roku wraz z reprezentacją Grecji zwyciężyli w Mistrzostwach Europy w Portugalii – Jurkas Seitaridis, Angelos Basinas, Konstandinos Chalkias, Janis Gumas oraz Dimitris Papadopulos.