権大納言・四辻公遠の次男。