Issu d'une famille d'ancienne noblesse (l'origine des Golitsyne remonte à Gediminas, fondateur du Grand-duché de Lituanie), il reçoit une éducation particulièrement complète pour l'époque et passe sa jeunesse à la cour du tsar Alexis où il accède progressivement au rang de boyard. Il monte lentement en grade dans la bureaucratie de l'État durant les années 1660. En 1676, il est suffisamment connu des Romanov pour que le nouveau tsar, Fédor III, en fasse son principal conseiller et le responsable des affaires publiques de 1676 à 1682. La même année éclate un conflit avec la Turquie et Golitsyne assiste aux opérations militaires de Tchyhyryne. Lors de cette campagne, il acquiert la conviction de l'incompétence de certains bureaucrates dans les hautes fonctions de l'État et de l'armée. Il persuade le tsar que le "mestnitchestvo", le droit de préséance des boyards sur les plus hautes charges gouvernementales, est devenu désuet et qu'il doit être aboli. La suppression du "mestnitchestvo" sera entérinée par un zemski sobor en 1682.