加賀国
狩野氏は元々は加賀国の在地領主であった。鎌倉時代には加賀国大聖寺城を築いてこれに拠っており、中先代の乱では宮方として活躍している。その後は加賀国守護富樫氏の家臣であったが、長享2年（1488年）に発生した加賀一向一揆によって当主の富樫政親が敗死。加賀国の支配権は富樫氏から一向一揆勢力へと移行した。狩野氏はこの難を避けて越中国氷見へと落ち延びて定住したと云う。飯久保城の正確な築城年代は不明だが、これ以降であろう。