Au cours de ses voyages, Elmas devient un ami proche du compositeur et pianiste russe Anton Rubinstein (à qui il dédie son premier concerto), mais aussi de trois personnalité françaises : le compositeur Jules Massenet, le pianiste Édouard Risler et un lexicographe, le prince Guy de Lusignan. En 1912, il se fixe à Genève, où il poursuit ses travaux de composition, l'enseignement et les concerts. À la suite d'une fièvre typhoïde contractée en 1897, Elmas est atteint d'une surdité qui s'accentue, le rendant de plus en plus reclus et coupé du monde. Heureusement, il se lie d'amitié et s'éprend d'une artiste peintre suisse, Adeline Aimée Rapin (1868–1956), privée de ses bras. Elle peut le consoler en ces temps difficiles. En 1913, il projette de rentrer à Smyrne, mais y renonce. Elmas est hanté par le sort de ses compatriotes et les événements tragiques du génocide arménien de 1915 par les turcs ottomans. Sa famille a pu s'échapper à Athènes juste après le grand incendie de Smyrne en 1922 qui a suivi l'occupation turque de la ville. Il fera venir les membres de sa famille en Suisse.