人同様，忠辉亦有粗暴的一面。由于忠辉顺利地出世，最终成为75万石的太守，因此许多说法指这是因为家康想补偿给忠辉。不过在庆长11年（1606年）担任川中岛12万石太守的时期，弟弟义直（7歳）被赐予甲斐府中25万石，赖宣（5歳）被赐予常陆水户藩25万石，赖房（4歳）被赐予常陆下妻藩10万石。亦有家康之所以赐予忠辉领地是因为伊达政宗和茶阿局等人的关系。而且弟弟松千代（同父同母）亦在年幼时在形式上继承长泽松平氏并被赐予武藏深谷藩，而同时期的忠辉却没有被赐予特别的奖赏。弟弟松千代在夭折后，身为兄长的忠辉继承松千代