有传说刘深由城门一路攻入，而乡民筑起石城抗击元军，因有城门此称。清初，清朝追击南明至荃湾，城门谷有南明李万荣拥永历年号，据针山石城抗清。明末清初，荃湾已改名为荃湾约。后来有人改写成全湾约，如新安县志等。荃湾旧时因海盗猖獗，曾称为贼湾。而荃湾近蓝巴勒海崃一带，旧称三百钱，因传说经过该地时，需给三百过路钱，也是因为这些原因，加上商船到这水域在退潮时常常搁浅，还有当时还没开发，商人必死无疑，所以对客家商人的忠告是“发达去金山，要死来荃湾”，这说法一直流传到第二次世界大战后，因为荃湾的水源来自大帽山的泉水，