I nesten 300 år tilhørte huset Selbyfamilien. Et kjent medlem av familien var Dame Dorothy, som var hoffdame for Elisabeth I, og som var berømt for sin broderikunst. Det figurerer historier om at hun skal ha sendt et brev forut for Kruttkomplottet i 1605, hvor han advarte sin fetter Lord Monteagle mot å være tilstede den dagen parlamentsbygningen skulle sprenges. Dette skal ha ført til avsløringen av komplottet. Det er usikkert om dette stemmer, for det finnes lignende historier om andre.