文化9年(1812年)から天保元年(1830年)にかけて幕府が船運賃を2割下げた上に船荷も減少、さらに船持惣代をめぐる不正による紛争もあり、戸田家は船主をやめ、菓子屋を営むようになった。