Correctly unregister new listeners