还有机会的」，可是赖宣却生气的反驳到：「人生难道有两个十四岁吗？」。而家康也因为听到赖宣的话而称赞赖宣。
纪伊家家祖.元和二年四月十七日（1616年6月1日）父亲家康公去世，享寿七十四岁。元和三年（1617年），赖宣公迎娶加藤清正的五女八十姬（瑶林院）为正室。元和五年（1619年），转封到安艺广岛浅野长晟的旧领地，纪伊国，领五十五万石（也包含伊势国）。之后成为纪州德川家家祖的赖宣，有将近半个世纪的时间都坐在藩主的位子上。赖宣整备城下町的法令、和歌浦东照宫的构筑，採用地士制度