正室为波多野元秀之女，但不久死去。之后迎娶近卫稙家之女，前关白近卫前久之妹作为继室，两人育有一女。弘治3年（1557年），兄长家清在与三好氏家臣松永长赖（即内藤宗胜）作战中，因伤重死去。直正成为黑井城年幼的少主，外甥忠家的后见人，并统帅赤井一族。永禄元年（1558年），消灭天田郡的荒木尚雅，成功扩大势力。永禄8年（1565年），进攻横山城的盐见赖胜。当时，丹波国内最有势力的豪族包括赤井、内藤和波多野，分别佔据冰上、船井和多纪郡，其中以波多野氏势力最大。永禄8年（1565年）8月，赤井氏和内藤氏为争夺