В 1891 Зиновьев, до этого рассматривавшийся как вероятный кандидат на должность товарища (заместителя) министра, был удалён из Петербурга в Стокгольм, получив назначение послом при короле Швеции и Норвегии. На посту посла в Константинополе (с 1897 по 1909 гг.) проводил относительно миролюбивую политику, старался сдерживать сближение султана с германским императором. Не принял Младотурецкую революцию 1908 года и, будучи награждён за свои труды орденом св. Андрея Первозванного, вернулся в Петербург.