丹波赤井氏
享禄3年(1530年)、細川高国が大物崩れにより敗死すると、阿波国の細川晴元が京兆家(細川宗家)当主となり丹波の国人もこれに従った。しかし波多野秀忠(元清の子)は高国の弟・細川晴国を奉じて挙兵し、内藤氏、赤井氏は波多野氏に破れた。この戦いで黒井城は落城、時家は子の家清とともに三木の別所氏の元に落ち延びた。天文5年(1536年)細川晴国が摂津国天王寺で自害すると、赤井氏は旧領を回復し、時家は丹波国に帰還した。時家は烏帽子山に陣を敷き内藤氏と戦ったという。