源赖朝
后来，木曾义仲败于源赖朝，失去支持的松殿师家也就被罢官，基通复任。但是当时的人都觉得基通应该被罢黜。源赖朝最初替基通说话，上奏法皇认为基通当初为了法皇而与姻亲平家断绝关系，其心可昭，支持基通任摄政。但不久后赖朝改变主意，屡次奏请法皇任与赖朝关系良好的九条兼实（基通的叔叔）为摄政。法皇最初虽拒绝了赖朝的请求，但最终还是同意了。基通虽忿忿不平，仍再次失去摄政一职。同时，由基通管理的庄园领也被迫拿出一部分交给九条兼实。