En 1862, el hermano del Gran Duque Miguel, el zar Alejandro II de Rusia, lo nombró virrey en el Cáucaso, y Olga se trasladó con su marido a la ciudad de Tiflis, lugar donde residirían durante casi 20 años.