Sagami Province
Kajiwara stammte aus der Provinz Sagami. Er focht zunächst unter Ōba Kagechika (; † 1182) auf der Seite des Taira-Klans. Als aber Minamoto no Yoritomo 1181 in der Schlacht von Ishibashiyama von den Taira geschlagen wurde und zusammen mit Doi Sanehira (土肥 実平; ?–1191?) in die Berge fliehen musste, ließ der verfolgende Kajiwara ihn jedoch entkommen. Er wechselte die Seite und nahm 1184 am Feldzug von Yoshitsune, Yoritomos Bruder, gegen Minamoto no Yoshinaka und die Taira teil, stellte sich aber später gegen ihn und verstärkte so den Zwist der beiden Brüder.