Fremantle verließ die Swan River Colony am 25. August 1829 und begab sich zur britischen Armeebasis von Trincomalee in Ceylon (heute Sri Lanka), wo er weitere Jahre blieb. Während er in Ceylon stationiert war, suchte er verschiedene Orte auf, darunter die Ortschaft in China, die damals Kowloon hieß, und die er als Standort für einen britischen Stützpunkt empfahl. Die britische Regierung stimmte zu und infolge des ersten Opiumkriegs wurde Hongkong 1841 besetzt und ab 1843 Kronkolonie. Fremantle blieb einige Jahre in Ceylon und auf seinem Weg zurück nach England im September 1832 besuchte er die "Swan River Colony" für die Dauer von einer Woche und kam danach nie mehr dorthin zurück.