Sa carrière diplomatique commence lorsque le président William McKinley le nomme ministre auprès de l'Autriche-Hongrie le . McCormick présente ses lettres de créances le et est promu premier ambassadeur des États-Unis auprès de l'Autriche-Hongrie le . Il est rappelé le . Il sert ensuite comme ambassadeur des États-Unis auprès de la Russie impériale en 1905 et se trouve à Saint-Pétersbourg durant les protestations du Dimanche rouge de cette même année. En 1905, il remplace Horace Porter comme ambassadeur des États-Unis en France.