もちろん、行く行かないは自由です。長期派遣の場合は行くことで交流も深まりますが、単発だとあまり関係なさそうですね。当然ですが、飲み会の時間は業務外となり時給は発生しませんのでご注意ください。