当时十分贫困的徂徕，受到了附近豆腐店老板的大力帮助。徂徕发迹后，为了报答恩情，每月会拿出一部分俸禄赠予豆腐店老板。赤穗事件中豆腐店不幸被浪人烧毁，徂徕便出资重建了被浪人烧毁的豆腐店，因此留下了“徂徕豆腐”的逸闻。元禄九年（1696），将军纲吉的亲信柳泽吉保提拔徂徕做自己的讲师，经常就政事询问徂徕的意见。赤穗事件中，儒士们就义士的处置问题争论不休。徂徕认为赤穗义士的行为违背了幕府的法律，罪已至死，但他们的行动符合武士道的义理，故应该让义士们保留武士的尊严，用切腹的方式自行了断。徂徕的建议令柳泽吉保十分满意