Происходил из дворян Смоленской губернии, родился в 1805 году, сын героя сражения под Прейсиш-Эйлау полковника Антона Ивановича Рыдзевского; первоначальное образование получил в Финляндии, где служил его отец, затем был определён пансионером в Санкт-Петербург, во 2-ю военную гимназию.