兄弟には井伊直清、井伊直亮、井伊中顕、中川久教、内藤政成、松平勝権、新野親良、井伊直元、横地義之、内藤政優、井伊直弼、内藤政義などがいる。