Anders Henrik Ramsay syntyi vuonna 1707 suvulle kuuluneessa Ihamäen kartanossa ja osallistui 11-vuotiaana isänsä kanssa 1718 Norjan sotaretkeen. Hänestä tuli Uudenmaan rakuunarykmentin kornetti vuonna 1731. Ramsay siirtyi Ranskaan sotapalvelukseen vuonna 1734, sai luutnantin arvon vuonna 1735 ja kapteenin arvon vuonna 1741. Hattujen sodan puhjettua samana vuonna Ramsay palasi kotimaahansa ja tammikuussa 1742 hänet nimitettiin kapteeniksi Hämeen ratsuväkirykmenttiin. Epäonnisen sodan jälkeen Ramsay oli hovipuolueen kannattaja ja valtaapitävä hattupuolue epäili häntä säätyvallan vastaisista vehkeilyistä 1756 ja 1758, mutta todisteita ei löytynyt. Hattujen jouduttua oppositioon Ramsay sai kuningas Aadolf Fredrikiltä everstin arvon vuonna 1762.