载「世间传说在介殿（忠辉）出生时，德川殿（家康）看到（忠辉）肤色极黑、大力张眼而感到恐怖并感到憎恶，于是说出想舍弃」（）。即是家康以刚出生的忠辉容颜丑恶为理由而将其舍掉。『藩翰谱』记载庆长3年，在忠辉7歳时，与忠辉会面的家康说「真是可怕的样貌，与三郎（松平信康）年幼时无异」（）。亦有其他史料记述此年的事情，家康看到忠辉后说「面貌怪异，与三郎的幼颜相似」（）。家康在看见忠辉时就像见到信康一样。与同样遭到改易的松平忠直等人同様，忠辉亦有粗暴的一面。由于忠辉顺利地出世，最终成为75万石的太守，因此许多说法指这