父の昌輝は青木正定(小右衛門)の二男で大井昌義の養子となり、のちに分家した人物である。