1876 ließ er sich in Athen nieder. Durch die Vermittlung von Stephanos Skouloudis wurde Zaharoff am 14. Oktober 1877 als Generalvertreter für den Rüstungshersteller Nordenfelt für die Region Balkan und Orient engagiert. Zahlreiche Konflikte und Auseinandersetzungen, wie der Griechisch-Türkische Krieg oder der Chinesisch-Japanische Krieg, führten zu erfolgreichen Geschäftsabschlüssen von Zaharoff für die Firma Nordenfelt.