Когда слово использовано в прямом смысле - тогда да, оно мирное. Но в данном случае оно использовано в переносном смысле, потому что никакой реальной истерики с криками и заламыванием рук, тем более у массы собеседников одновременно, вы не наблюдаете. Поэтому в данном случае это ярлык. Вы спокойным собеседникам говорите, что они в истерике. С тем же успехом можно сказать вам, что вы идиотка, подразумевая  вполне мирный диагноз  слабоумия.Предлагаю все же остановиться.