图书馆设计了较为朴实的外观，由于图书馆位于新英格兰的小镇内，这种建筑风格和图书馆周边的环境毫不违和。外墙的立面由红砖砌成，每面窗户的外部周围由柚木材质的板件点缀，内部则和阅览桌对齐以提供採光。和当时许多红砖外墙的建筑不同，菲利普斯埃克塞特学院图书馆并非钢结构建筑，因此红砖本身不仅有装饰的作用，还是主结构的一部份，图书馆的外层结构体完全由这些红色的承重砖所组成。外墙上窗户与窗户之间墙墩的宽度随着楼层越高而收窄，反之窗户的宽度随楼层越高而越宽，这是建筑师别出心裁的巧思，使红砖的承重作用能在视觉上充分地表现出来。