Специальность редкая, сфера узкая,  земля круглая, и т.д., дальше можно продолжить ряд. Вы никому ничего не должны, но лучше уйти красиво, а не со скандалом. Вы легко можете пресечься в будущем, ну и рекомендации ещё никто не отменял. Официально ваша начальница может давать вам плохие рекомендации новым работодателям.