自1990年代起，本线在新墟内的行车路线随着多次更改而日渐迂回（当时大兴邨区议员一直要求本线不经新墟，多番争取却还是失败），令山景邨及大兴邨的乘客却步，他们宁愿改搭车程较快较直接的57M或58M线来往荃湾，而前往香港岛的市民则改乘过海隧道巴士960线和961线等，再加上大兴邨居民平均年龄渐高，导致该屋邨的巴士服务需求下降，因此非繁忙时间客量偏低，令本线班次于2003年起逐渐疏落，九巴甚至于2001年3月计划在2004年5月把258D提升至全日服务时永久取消本路线，不过被屯门居民因车费问题（虽然66可到荃湾，