承応元年(1652年)、侍女の弥智(玉井親次の娘)との間に男子(頼常)が生まれるが、母の弥智は誕生前に家臣・伊藤友玄に預けられて出産し、生まれた子は翌年に高松に送られて兄・頼重の高松城内で育てられた。