Die boere langs die oosgrens het 'n versoekskrif aan die Politieke Raad gestuur waarin 'n eie kerk en skool gevra is. Van Plettenberg het besluit om self ondersoek te gaan instel. In Maart 1778 vertrek hy op 'n reis na die Oosgrens. Hy het by die Graaff-Reinetters aangedoen, by die huidige Colesberg 'n baken opgerig om die noordoostelike grens van die Kolonie aan te dui, tot by die Visrivier en daarna weswaarts met die kus langs na die Kaap getrek.
Op 6 November 1778 het hulle 'n baai bereik wat deur die geselskap na Van Plettenberg vernoem is en wat vandag 'n gewilde toeriste-bestemming is. Van Plettenberg was die Goewerneur wat die verste in die binneland gereis het. Hy het homself deeglik vergewis van omstandighede in die Kolonie.
Tydens sy bewind het die Amerikaanse Vryheidsoorlog (1776-1783) en die oorloë tussen Engeland en Frankryk, heelwat bedrywigheid in Tafelbaai meegebring. Nadat die Britte se plan om die Kaap oor te neem uitgelek het, het die Franse admiraal, Pierre André de Suffren, 'n regiment Franse hulptroepe na die Kaap gebring. Hulle het die Kaap beveilig teen Britse oorname, en 'n ekonomies opbloei veroorsaak.
Tydens Van Plettenberg se bewind het die Kaapse burgers hul ontevredenheid met die regering en die behandeling deur amptenare uitgespreek en 'n lywige petisie na die Here XVII in Holland geneem. Teen 1784 hy hy moed opgegee om die situasie te probeer oplos en sy ontslag in Holland geneem. Hy het op 10 April 1784 die Kaap verlaat is is op 18 Augustus 1793 in Nederland oorlede.