安五郎の出た家は、代々続く旧家で、古くは清和源氏村上氏流の流れを汲み、房総の有力氏族だった千葉氏の臣下だったと伝わる(八千代市域に伝わる「村上氏伝説」も参照)。