Il fait ses études au Collège d'Eton et au Trinity College de Cambridge, où il obtient un diplôme en français et en allemand. Il succède à son père à la baronnie en 1934 . Il est lieutenant adjoint de Powys en 1962 . En 1966, Vivian, en tant que Lord John Swansea, représente le Pays de Galles aux Jeux du Commonwealth, où il remporte l'or dans l'épreuve du fusil à canon complet. Il remporte une médaille d'argent dans la même épreuve aux Jeux du Commonwealth de 1982 à Brisbane.