正室筑山殿（濑名姬）还留在骏府城做人质，因此西郡比濑名姬早进入冈崎城（也有说是滨松城）。冈崎城（滨松城）时代的家康，侧室只有于西郡一人。于西郡在永禄八年（1565年），家康二十四岁的时候，生下家康次女德川督姬。天正十年（1582年），即将统一天下的织田信长，在京都的本能寺遭家臣明智光秀的突袭叛乱下身亡，得年四十九岁。信长死后，甲斐国和信浓国呈现无主状态，邻近这两国的德川氏和北条氏于是开始争夺。隔年，天正十一年（1583年），双方议和。家康于是将于西郡的女儿督姬当作条件，嫁与北条氏政的嫡长子，北条氏直。