不疲，与他有深交的大名也在自己的屋敷养鱼，等赖宁前来到访。然而，比赖宁权力要大的大名会故意在赖宁到访前餵鱼，让他空手而回。天保12年（1841年）7月12日，赖宁辞任若年寄。安政6年（1859年）7月11日，赖宁隐居，并且将家督之位让给七子内藤赖直。文久2年10月2日（1862年11月23日），赖宁死去。赖宁曾经帮助担任鱼力行司的木村庄兵卫还债。赖宁与藤堂氏关系相当深厚，在送殡期间，藤堂氏藩士列队戒备，而赖宁也获评为才智兼备的名君。