これは相手が言ったことに対して同意を示す、くだけた表現です。相手が正しいのでこれ以上議論することはない、論破することはできないということですね。
例:
A: Wow, the weather is beautiful. I love fall in Seattle.（わあ、いい天気ですね。シアトルの秋が好きです。）
B: It is great. Can't argue with you.（いいですね。反論できません。）
例: Can't argue with you, I also think Michael Jordan is the greatest basketball player of all time.（議論の余地はありませんね、私もマイケル・ジョーダンが史上最高のバスケットボール選手だと思います。）