不过因为生母于大之方的希望，于是被留在松平家。最终，家康送出次男于义丸（后来的结城秀康）成为秀吉的养子，因此在这段时期被家康疏远，不过二人始终有血缘关系，因此亦受到家康疼惜。
城主时期.天正15年（1587年）3月，父亲俊胜在三河国冈崎城死去并葬在三河国安乐寺。天正18年（1590年）9月，被赐予下总国小南（现今的千叶县东庄町）3千石。庆长5年（1600年），加增4千石并成为伊势国长岛城城主，后来加增2万石，成为总计2万7千石的领主。翌年（1601年）2月，加增3千石，取代山内一丰