В 1092 году, когда Вильгельм II захватил область южнее залива Солуэй-Ферт, границы государства были отодвинуты далеко на север. Карлайл стал пограничным замком, а поскольку Бруэм оставался неукреплённым, замки Эпплби и Бро защищали линии связи между Карлайлом и Йоркширом. В 1203 году графство Уэстморленд, в которое входили территории Эпплби, Бро и Бруэм, было пожаловано Роберту де Випону. Новый землевладелец был одним из немногих верных королю Иоанну в северной части Англии. Около 1214 года семья Випонов контролировала значительную долю земель, в том числе часть поместий Бруэма. Замок Бруэм был основан примерно через год, во время восстания баронов (1212—1217).