なぜ定時で帰ることがダメなのかを怒られた方に確認してください。もしその理由が理不尽なものであれば異動や転職も検討しましょう。