「To be the judge of something」とは、他人の言うことは聞かずに自分で決定を下す事を意味します。
例：Don't step in to this problem. I'll be the judge of that.（この問題に介入しないでください。 私が決めます。）
例：You should be the judge of that. Don't listen to what others say.（その事はあなたが自分で決めるべきです。 他人の言うことに耳を傾けないでください。）