Rufforths familj ansåg som en naturlig sak , att partiet måste brytas.