断っても問題ありません。基本的に契約時間外の仕事は断ることが出来ますし、自由に働けるのが派遣社員の良い所なので気しなくて良いです。ただ、事前に残業が発生する旨を伝えられていた上で契約を結んだのなら、受けた方が良いですね。