Remove InviteListener.