是远江国世木氏的后裔，因故由远江迁移到安艺，同时兼具忍者与地方豪族的特性，活跃于山口县、广岛县一带。
历史.根据《萩藩阀閲録》世鬼家本起源于远江国，原姓世木，由于族内分裂，失势的世木义包出奔，其子世木政久在滞留京都期间，曾经作为山名宗全的客将加入应仁之乱的战事，因故投降于石见国的高桥家，移居至安艺国高田郡宗利村世鬼，所以世木政久之子政亲便把姓氏改为世鬼。世鬼政亲有长男政栋、次男政时二子，据《萩藩阀閲録》所记载，世鬼政栋后来远走到尾张国，成为织田信秀的家臣，而世鬼政时在高桥家被毛利家消