Dnes hřbitovní kostel byl původně součástí prvního panského (zemanského) sídla ve Švihově, doloženého již ve 12. století. Byl vystavěn na výběžku nad řekou Úhlavou uprostřed hřbitova. Je to tribunový kostel se zachovanými románskými prvky. Tribuna sloužila majiteli tvrze a jeho rodině, přízemí pak ostatnímu lidu. Ve druhé polovině 13. století byl kostel rozšířen o jižní obdélníkovou loď, v polovině 14. století byla původní apsida nahrazena obdélníkovým kněžištěm s hrotitými okny. Ve 14. století byl kostel uváděn jako farní. V první polovině 16. století byla přistavěna severní a na přelomu 16. a 17. století i jižní předsíň. Další úprava proběhla v 18. století a výrazně pozměnila jeho původní ráz románsko-gotické stavby. Hřbitov přiléhající ke kostelíku se nazýval vesnický, protože zde byli pohřbíváni zemřelí z okolních obcí. Lidé ze Švihova, Lhovic a Mezihoří byli pochováváni na městském hřbitově při farním kostele sv. Václava ve Švihově.