Hussey Vivian vendte tilbake til England i juni 1795 og ble stasjonert ved Gosport. Samme høst ble han og hans regiment sendt ut i ekspedisjonen ledet av generalløytnant Ralph Abercromby. Etter noen uker til sjøs ble transporten tvunget tilbake av dårlig vær og i august 1796 fulgte han sitt regiment til Gibraltar. I august 1798 ble han overført til regimentet The 7th (Queen's Own) Light Dragoons. Med det regimentet avseilte han fra Deal 13. august 1799 for Den Helder i Holland, med generalløytnant Ralph Abercrombys første divisjon i den anglo-russiske invasjonen av Holland (under den andre koalisjonskrigen). Han deltok i kampene om Bergen den 19. september og 2. oktober og i slaget om Alkmaar 6. oktober. Etter at invasjonsforsøket ble slått tilbake av franske styrker returnerte han til England i desember 1799 sammen med sitt regiment. Den 9. mars 1800 ble han forfremmet til major og den 20. september 1804 til oberstløytnant i The 25th light dragoons. Han sluttet seg aldri til det regimentet, og returnerte i stedet 1. desember til The 7th Light Dragoons.