Swansea est vice-président de la National Rifle Association. À ce titre, il fait pression contre la législation élaborée à la suite du massacre de Hungerford et du massacre de Dunblane, notamment une interdiction de la possession privée de pistolets . Il soutient toutefois l'interdiction des Kalachnikov et l'obligation de verrouiller en toute sécurité les fusils de chasse non utilisés. Il est capitaine de l'équipe de tir de la Chambre des Lords, qui est forcée de fermer après 80 ans. Swansea quitte le groupe conservateur et siège comme crossbencher, avant de perdre sa place à la Chambre à la suite de la loi de 1999 sur la Chambre des lords.