Return InvalidTokenError if we get a 401 or 403