Herrarne Clifford betraktade lord Rossiturs vistelse på herregården med blandade känslor.