Lord Harvey wände sig otåligt bort.