お伺いできないのが残念です。
行くことができないのが残念です。