Ramsay kuului Ramsayn aatelissukuun. Hänen vanhempansa olivat luutnantti Gustaf Wilhelm Ramsay ja Anna Juliana Taube. Hän meni 1775 naimisiin serkkunsa Sofia Lovisa Ramsayn kanssa. Hänestä tuli näin vaimonsa perintöön kuuluvien kartanoiden isäntä, joihin kuuluivat muun muassa Jakkarilan kartano Porvoon pitäjässä sekä Espoon kartano. Perhe asui vuodesta 1801 Espoon kartanossa, jonne valmistui tuolloin uusi päärakennus. Otto Wilhelm ja Sofia Ramsayn poikia olivat Suomen sodassa kaatuneet majuri Anders Wilhelm Ramsay ja luutnantti Carl Gustaf Ramsay, jotka muistetaan J. L. Runebergin "Vänrikki Stoolin tarinoiden" runon "Matkamiehen näky" innoittajina. Viimeinen eloon jäänyt poika Adolf Henrik Ramsay muutti myöhemmin ruukinpatruunaksi Ruotsiin.