В 2002 году Алексан Налбандян вернулся в Армению и в дальнейшем снова выступал под флагом этой страны. В 2004 году участвовал в чемпионате Европы в Пуле и стал единственным армянским боксёром, которому удалось квалифицироваться на Олимпийские игры в Афинах. По ходу олимпийского турнира выиграл у соперников из Франции и Ирака, но в четвертьфинале проиграл выдающемуся китайскому боксёру Цзоу Шимину.