Il est embauché par le ministère des Finances en 1889 et devient directeur des affaires ferroviaires. Dans ce rôle, il prenait part à l'enquête de l'Accident de train de Borki. Il fait alors la connaissance de l'empereur Alexandre III qui reconnaît vite en lui un homme intelligent, capable de faire avancer l'économie du pays. Il le nomme ministre des Voies de communication en février 1892. Six mois plus tard, Alexandre III révoque son ministre des Finances, Ivan Alexeïevitch Vichnegradski, qui l'avait déçu, et le remplace par Witte.