就業規則に記載があり36協定が締結されている企業の場合、残業を強制されて断るのは難しいでしょう、就業規則は企業の約束事を取り決め、納得したうえで入社したとみなされるからです。しかし、あまりにも残業時間が多かったり体調不良だったりする場合は、断れる可能性もあります。