第7代藩主・堀直方の三男。