一职属于殖民地部，但驻华商务总监则属于外务部，两者互不统属，所以早期的港督都是拥有「双重身份」的。然而，当时的港督也兼任英方全权公使，所以驻华商务总监的重要性在香港开埠以后有所下降。加上1842年《南京条约》签订后，清廷由「独口通商」改由「五口通商」，十三行又在1856年于大火中焚燬，广州的贸易量实在是日益消减，渐为上海所追赶上。在1857年以后，驻华商务总监和全权公使都不再由港督兼领，独立出来，但驻华商务总监则改由英国驻华公使所兼领。