家紋は丸に二引両とされ、足利一門上野氏の三代上野頼兼の次男上野直兼を祖とする豊後上野氏は、尊氏の腹心として九州下向に随従、上野氏一門の中で唯一九州に留まり、孫の上野氏繁の代に豊後守護大友氏の傘下に入る。