Współczesny kościół św. Jakuba stoi na miejscu jeszcze wcześniejszej świątyni. W związku z tym, iż brak źródeł pisanych na ten temat, istnieje domniemanie, że drewniana kaplica mogła powstać w czasach chrystianizacji Polski (pewne jest, że po 966 roku w Sandomierzu powstały murowane kościoły św. Jana i św Mikołaja, brak źródeł na istnienie w tym czasie murowanej świątyni jakubowej). Świątynia z całą pewnością związana była z szlakami św. Jakuba, gdyż na odcinku Sandomierz-Kraków znajduje się w linii prostej 7 kościołów pw. św. Jakuba w odległości co ok. 30 km (największe nasilenie pielgrzymkowego ruchu w ramach Camino de Santiago datuje się na XI–XIV wiek). Płyty nagrobne sugerowałyby związek kościoła z wyprawami krzyżowymi (przeciw Prusom, do Ziemi Świętej lub być może nawet do walk w obronie Grobu św. Jakuba w Santiago de Compostela). Kościół mógł też powstać jako votum dziękczynne po powrocie księcia Henryka Sandomierskiego z Ziemi Świętej, czyli między 1155 (powrót z Palestyny) a 1166 rokiem (śmierć). Wiadomo, że Wzgórze Staromiejskie było terenem wczesnego osadnictwa i istniał tam stary cmentarz, a w tamtym okresie cmentarze ściśle związane były z kościołami, a więc być może istniał tam jeszcze starszy drewniany kościół.