第4代藩主井伊直興の14男。