而将其舍掉。『藩翰谱』记载庆长3年，在忠辉7歳时，与忠辉会面的家康说「真是可怕的样貌，与三郎（松平信康）年幼时无异」（）。亦有其他史料记述此年的事情，家康看到忠辉后说「面貌怪异，与三郎的幼颜相似」（）。家康在看见忠辉时就像见到信康一样。与同样遭到改易的松平忠直等人同様，忠辉亦有粗暴的一面。由于忠辉顺利地出世，最终成为75万石的太守，因此许多说法指这是因为家康想补偿给忠辉。不过在庆长11年（1606年）担任川中岛12万石太守的时期，弟弟义直（7歳）被赐予甲斐府中25万石，赖宣（5歳）被赐予常陆水户藩25万