やはり住職にもお声をかけておくべきでしょう。
お誘いをした上で、お断りされた場合は御膳料を包むのが一般的です。