Nikolai I:n kuollessa vuonna 1855 Ramsay menetti tärkeän suosijansa ja jäi hieman taka-alalle, mutta hänellä oli hyvät suhteet myös uuteen keisariin, Aleksanteri II:een. Tämän kruunajaisissa Moskovassa syyskuussa 1856 Ramsay sai edustaa Suomen aatelia ja hänet korotettiin vapaaherraksi. Seuraavaana vuonna hänen sukunsa introdusoitiin ritarihuoneelle vapaaherrallisena sukuna numero 40. Pian tämän jälkeen hänet nimitettiin Venäjän krenatöörijoukkojen johtajaksi Moskovaan, missä asemassa hänellä oli 60 000 alaista. Nimitykset jatkuivat ja syyskuussa 1858 hänestä tuli Keisarin kenraaliadjutantti ja 1859 jalkaväen­kenraali. Heinäkuussa 1862 hänet nimitettiin Puolassa toimineiden sotajoukkojen komentajaksi, ja hän asui Varsovan Kuninkaallisessa palatsissa. Kun Puolassa puhkesi tammikuussa uusi kapina, joutui Ramsay jälleen sen kukistajaksi, mutta tällä kertaa hänen terveytensä petti. Jo maaliskuussa hän joutui lähtemään terveyslomalle ulkomaille. Hän toipui keuhkokuumeesta 1864.