Hans politiske karriere fikk en brå slutt da Peter den store avsatte sin formyndeske og eldre søster Sofia Aleksejevna, og selv tok makten i 1689. Til tross for sin støtte til prinsessen fikk Golitsyn beholde livet, men mistet sin stilling som bojar, og hans eiendom ble konfiskert. Han ble forvist til Pustozersk i Petsjoras delta.