W 1851 przeszedł na częściowo emeryturę (otrzymywał tylko połowę swego wojskowego wynagrodzenia) i wyjechał na Wyspę Świętej Heleny, której został cywilnym i wojskowym gubernatorem. Głównym wyzwaniem, z którym przyszło mu się zmierzyć w tej małej kolonii, było niedostateczne zaopatrzenie w wodę pitną. W 1854 otrzymał znacznie poważniejszy urząd gubernatora Nowej Zelandii, który z uwagi na długą podróż objął we wrześniu kolejnego roku. Rok później Nowa Zelandia otrzymała autonomię i znaczna część dotychczasowych prerogatyw gubernatorskich przeszła w ręce rządu kolonii. Browne upierał się jednak, aby nadal to on kontrolował kwestie związane z Maorysami. Gubernator dopiął swego, ale następnie prowadził te sprawy tak nieudolnie, m.in. naruszając postanowienia traktatu Waitangi, że relacje ze rdzenną ludnością Nowej Zelandii pogorszyły się na tyle, iż doszło do wznowienia wojen maoryskich. W maju 1861 brytyjski minister ds. kolonii podjął decyzję o jego dymisji, uznając, że mimo dobrych intencji popełnił liczne błędy.