Den første katedralen ble bygget ved Old Sarum av biskop Osmond (senere helgenerklært) mellom 1075 og 1092. En større bygning ble deretter bygget på samme sted rundt 1120. Det dårlige forholdet mellom geistligheten og de militære styrkene ved Old Sarum ledet til at man besluttet å bygge katedralen et annet sted. Det nye stedet ble byen New Sarum, kjent som Salisbury. Stedet skal etter sigende ha blitt valgt ved å skyte en brennende pil fra Old Sarum, skjønt dette er en opplagt legende, når man tar distansen i betraktning. Det har også blitt sagt at pilen traff en dåhjort, som løp videre, før den falt om og døde på det stedet hvor katedralen nå står.