且疫病更经常在香港肆虐。仅就1850年而言，在流行性疾病横行下，香港一年有百分之十的外籍居民染病死亡，其中军队更佔上外籍死亡人数的百分之二十。
海盗为患.在文咸任内，香港的海盗活动非常猖獗，屡有沿海居民及商船遇劫，当中以徐亚保及赤柱黄麻角人士「十五仔」的两股海盗最为活跃。在1849年，文咸下令派海军联同清廷水师剿盗，使徐亚保一方重创败逃；英军同年又击溃「十五仔」的势力，最后向清廷投诚。翌年，英军所发现徐亚保踪迹，并在大鹏湾再度重创徐亚保及其余部，徐亚保后于前赴清廷投诚途中被部众出卖