督的叔父忠吉亦有不久后死去，于是以5歳之龄继任家督。在天正12年（1584年）的小牧长久手之战中加入酒井忠次的军势并立下功绩。天正18年（1590年），在德川家康移封至关东地方时，家广被赐予武藏国松山城1万石（后来加至2万5千石）并成为初代松山藩藩主。在庆长6年（1601年）死去。享年25歳。死因是病死，不过亦有说法指是因为杀害家老堀勘兵卫而被触怒家康，于是自杀。家督由从弟忠赖（母亲多劫姬与忠吉再婚所生的儿子）继承。