传说这里直到明代中叶,河上还无桥。当地人去东吴寺进香都得摆渡,所以东吴寺的所在位置又名“摆渡口”。相传清代初年,有个豪里(现郭巷镇湾里村)巨富朱百万,摆渡进香,上得岸来,小和尚急禀方丈,开哪扇门迎接。方丈随口答道,开东门吧。东门是偏门,朱百万不能进正门,心里不悦。正在他烧香拜佛的时候,小和尚又来请示方丈说,有个朱百万家的女佣要来烧香,开哪扇门?方丈连忙让开正门,且亲自迎接。朱百万更加恼火了,和方丈论理。方丈直言相告:“你前世是牛,她前生是人,你是牛投人,她是人投人,此其一;你腰缠万贯,是靠众人头上刮来的,她用来烧香的钱是烧饭时候从稻柴里一粒粒拣出来,积了几年才够的。你们二人不一样。佛门规矩,正门进正人,偏门进偏人,非老衲欺人也。”不想朱百万倒是个明白人,听了这席话,甚感内疚,便出钱在庙门口造了这座桥,取名“大牛桥”,这也是大浮桥最初的名字。