En 1800, il obtient un poste de major et en 1804 il devient lieutenant-colonel du . À la tête de ce régiment, il s'embarque pour rejoindre le lieutenant-général Sir David Baird à La Corogne en 1808 et participe aux combats de cavalerie de Lord Henry Paget à Sahagún et Benavente. Pendant la retraite de l'armée du lieutenant-général Sir John Moore, la est constamment employé avec l'arrière-garde. Vivian est présent à la bataille de La Corogne et est revenu avec le reste de l'armée en Angleterre. Ce n'est qu'en septembre 1813 que le revient dans la péninsule. Le 24 novembre, Vivian (alors colonel et aide de camp du Prince Régent) est nommé pour commander une brigade de cavalerie légère ( et Light Dragoons) sous Rowland Hill, vicomte Hill dans l'armée de Wellington. Avec ce corps, il sert à la bataille de la Nive (9-13 décembre) .