寄与分を理由に、遺留分侵害額請求を拒否することはできません。
遺留分侵害額請求の対象は、遺贈と贈与です。寄与分は含まれていません。
また、寄与分を定める訴訟は家庭裁判所が管轄となり、遺留分侵害額請求の事案を管轄するのは地方裁判所です。この管轄の違いから、遺留分侵害額請求訴訟では、寄与分を抗弁とすることはできないと解されています（※1）。
寄与分を定める際には、遺留分を考慮しなければならないとする裁判例（※2）もあります。
寄与分を理由に支払いを拒否され、話し合いが上手くいかないのであれば、弁護士に相談してみましょう。
※東京高等裁判所 平成3年7月30日判決
※ 東京高等裁判所平成3年12月24日決定