八年（1680年），将军家纲在没有子嗣的情况下去世，得年四十岁。幕府的大老酒井忠清希望让有栖川宫亲王做将军，但老中堀田正俊反对，认为家纲同父异母的弟弟纲吉较为合适。不过阿夏的孙子纲丰（家宣）按照辈分来说是最适宜的，却没被列在将军继承人的名单内。结果德川纲吉成为五代将军。天下就成了纲吉和其生母桂昌院阿玉（家光的侧室）的天下。而阿夏怀着悲伤的心情下于天和三年（1683年）离开人世，享年六十一岁。阿夏死后的二十六年，五代将军纲吉去世，因为没有子嗣，第六代将军由纲丰继承，纲丰也领德川宗家代代相传的「家」字，