Podle pověsti nechal první kapli na tomto místě postavit kníže Boleslav I. na památku vítězství nad Maďary, kteří po porážce na Lešském poli v roce 995 utíkali do šumavských lesů (k bitvě na Lechu došlo ve svátek sv. Vavřince). Doložena je však až kaple postavená v souvislosti s požárem, který postihl Domažlice v červnu 1683. Domažličtí radní slíbili, že pokud se požár nerozšíří, vybudují na tomto místě kapli ke cti sv. Vavřince. Svůj slib sice nesplnili, kapli však později nechala postavit manželka mydlářského mistra Zuzana Veselá, která pro stavbu poskytla i pozemky, z vděčnosti svatému Vavřinci za vyléčení z depresí. Výstavba byla započata v roce 1685, k vysvěcení kaple došlo 10. srpna 1695. Podle tradice dostala hora po donátorce kaple název Veselá hora. Později kaple začala chátrat, až byla v roce 1761 zcela uzavřena. Její přestavbou a rozšířením na náklady města vznikl následně barokní kostelík, vysvěcený v roce 1775. V rámci reforem Josefa II. byl však již roku 1788 zrušen, prodán v dražbě a využíván nadále jako stodola.