結論からいえば、まだ1、2回しか会っていないような関係性が浅い段階なら電話やLINEでお断りを伝えても問題ありません