清同治三年，红顶商人胡雪岩应时任浙江巡抚左宗棠的要求，在浙江主持太平天国战争善后工作，为了让战时流亡钱塘江以东绍兴、萧山等上八府的居民回到杭州，也为了沟通名下胡庆余堂药材生意，特地在南星桥三廊庙设立“义渡”，免费接送两岸居民商旅，一时间杭州许多商绅也来资助。胡雪岩投资建设了船埠棚房，增添了跳板缆绳，并承担了运营的人工费用。于是流亡难民纷纷从这里北上返回杭州，义渡每日人满为患，胡雪岩因此又委托一批有经验老船工，制造了四条长15米，宽4米，可载100多人的方头平底渡船，渡船行驶平稳，全由人力摇橹，便于人员货物运输，但遇到逆风逆水或者涨潮则会有危险，需要“封江停航”。受制于通讯条件限制，为了让停航消息布告出来，停航天两岸就会将一面细布做的大旗升起，过客见此就知道义渡停航；此外，杭州城内清河坊的宓大昌墙上还会张贴三廊庙和海潮寺渡口的渡船消息。时局稳定之后，义渡也在胡雪岩资助之下继续运营下去，并经过不断修缮成为了钱塘江上下游之间往返最早的码头。钱塘江义渡也为胡雪岩带来了巨大的声誉，其名下的胡庆余堂一举超过原先海潮寺附近的叶种德堂成为了杭州最为兴盛的药号。