过此时并没有减少与父亲家康的距离，在庆长19年（1614年）的大坂冬之阵中被任命担任留守居役。刚毅的忠辉对这个命令相当不满，不过最后都有遵从。在庆长20年（1615年）的大坂夏之阵中向大坂出阵。元和2年（1616年）4月，家康死去。家康在此时令秀忠、义直、赖宣、赖房等人前往见最后一面，不过没有召唤忠辉。希望拜谒家康的忠辉只身前往骏府，不过没有被允许会见家康的最后一面。『德川实纪』中记载「忠辉立即出发到骏府探望家康，此时随侍在家康身旁的有许多宿老政要，但家康因为不喜欢忠辉，所以独独不准忠辉入城，因此无法实