Après avoir occupé le poste de secrétaire d'État fantôme à partir de 1962, il est devenu secrétaire d'État pour l'Écosse en 1964 sous la direction de Harold Wilson. Après le passage des conservateurs au pouvoir de 1970 à 1974, il reprend ses fonctions jusqu'à la démission de Wilson en 1976. Au cours de son mandat, il est responsable de la création du Highlands and Islands Development Board et de la Scottish Development Agency, les précurseurs de Highlands and Islands Enterprise et Scottish Enterprise respectivement. Ross fait campagne pour un "non" au référendum de 1975 sur l'adhésion britannique à la CEE . Il est également un unioniste ferme, en faveur du maintien de l'Écosse et de l'Irlande du Nord au Royaume-Uni, et s'est opposé à la dévolution. Le journaliste Andrew Marr l'a appelé "un conservateur presbytérien sévère et autoritaire qui dirigeait le pays comme un fief personnel pour Harold Wilson". Ross a inventé le terme «Tartan Tories» pour décrire les membres du Parti national écossais, qu'il détestait beaucoup; il est lui-même surnommé "le marteau des Nats" pour ses nombreuses attaques contre eux.