不过最后都有遵从。在庆长20年（1615年）的大坂夏之阵中向大坂出阵。元和2年（1616年）4月，家康死去。家康在此时令秀忠、义直、赖宣、赖房等人前往见最后一面，不过没有召唤忠辉。希望拜谒家康的忠辉只身前往骏府，不过没有被允许会见家康的最后一面。『德川实纪』中记载「忠辉立即出发到骏府探望家康，此时随侍在家康身旁的有许多宿老政要，但家康因为不喜欢忠辉，所以独独不准忠辉入城，因此无法实现探望之愿。少将（忠辉）手足无措只好暂居城下的禅寺，希望能等到入城许可。最后忠辉在无法进城谢罪的情况下家康便薨逝……」（）。