1820 wurde Ramsay das Amt des Generalgouverneurs von Britisch-Nordamerika mit Sitz in Quebec übertragen. Zu den bisherigen Bereichen kamen nunmehr die Verbesserung der Verkehrsinfrastruktur der Gesamt-Kolonie und, im Hinblick auf den erst acht Jahre zurückliegenden Krieg mit den Vereinigten Staaten, militärische Belange hinzu. Sein Verhältnis zum kanadischen Parlament war jedoch schwierig, da Ramsay extrem konservative Ansichten vertrat und die Vorrechte der Krone betonte. Einen massiven Konflikt über die Bewilligung von Geldern für die Ausgaben des Gouverneurs selbst verlor Ramsay letztendlich, weil auch das Kolonialministerium in London seine Position nicht stützte. Es kam dann zu einer Beschwerde, die von mehr als 87.000 Einwohnern der Provinz gezeichnet wurde. Der Untersuchungsbericht des britischen House of Commons äußerte schließlich ebenfalls Kritik an der Amtsführung des Gouverneurs.