しかし、室町時代末期、光信直系の孫土佐光元が但馬攻めで戦死したことにより絵所領職を失ってしまう。
但是，室町时代末期，光信直系之孙土佐光元参加羽柴秀吉的军势，在但马战死，丧失绘所领职。