Получив домашнее воспитание, был определён в Пажеский Его Величества Корпус, где окончил курс учения в 1818 году и 22 марта был выпущен прапорщиком в лейб-гвардии Преображенский полк. Прослужив в полку восемь лет, Рамзай обратил на себя внимание начальства, как отличный стрелок и, кроме того, как знаток оружия и стрелкового дела; за это время он последовательно получил чины подпоручика (6 декабря 1819 г.), поручика (20 февраля 1821 г.), штабс-капитана (29 апреля 1823 г.) и капитана (29 марта 1825 г.); 14 декабря 1825 г. Рамзай находился в числе войск, собранных для подавления выступления декабристов.