残念ですが、君と一緒にいけません。
残念ですが、あなたと一緒にダメです。