这段时期被家康疏远，不过二人始终有血缘关系，因此亦受到家康疼惜。
城主时期.天正15年（1587年）3月，父亲俊胜在三河国冈崎城死去并葬在三河国安乐寺。天正18年（1590年）9月，被赐予下总国小南（现今的千叶县东庄町）3千石。庆长5年（1600年），加增4千石并成为伊势国长岛城城主，后来加增2万石，成为总计2万7千石的领主。翌年（1601年）2月，加增3千石，取代山内一丰成为远江挂川藩藩主，此后3个月，叙任从五位下隐岐守，于是「隐岐守」的官名就成为历代伊予松山藩松平家的拜领官名。