Третиот Ерл од Карлајл прво зборувал со Вилијам Талман, водечки архитект, но се одлучил за Ванбру, со кој членувал во Кит-Кет клубот. Хавардскиот замок бил првото архитектонско дело на овој дилетант, но сепак тој го проектирал со помош на Николас Хоксмур.