Ramsayn vanhemmat olivat majuri Christer Wilhelm Ramsay ja Eva Juliana Jägerhorn af Spurila. Hänen puolisonsa vuodesta 1809 oli Vendla Vilhelmina von Essen af Zellie (k. 1812), vuodesta 1814 Carolina Ulrika Hagström (k. 1836) ja vuodesta 1845 Fredrika Lovisa Nykopp. Ramsay oli Hämeenlinnan rykmentissä kersantti 1794 ja samana vuonna vänrikki rykmentin jääkäripataljoonassa. Aatelislippuerykmentissä hänestä tuli luutnantti 1802, palveluksesta hän erosi kapteenina 1810. Ramsay oli edustaja aatelissäädyssä Porvoon valtiopäivillä 1809.