海军需要短暂离开香港，令香港的防卫兵力减少，无暇兼顾活跃于大鹏湾、伶仃洋及南中国海一带的海盗。是故香港政府征召香港志愿人士组织一支防卫队，于1854年5月成立香港义勇军（英文：Hong Kong Volunteers，缩写：HKV），当时有99名欧洲裔香港人应征入伍。虽然参加义勇军属自愿性质，但当时有不少志愿者在香港具有显赫身份，如连卡佛百货创办人汤马仕（Thomas A. Lane），商人兄弟佐治．都爹利（George Duddell）与法兰．都爹利（Frederick Duddell），中环都爹利街即以