大永5年(1525年)、丹波氷上郡後屋城主・赤井時家の嫡子として誕生。