最早有文字记录与《垂怜经》相近的内容，可以追溯到2世纪时希腊哲学家兼历史学家阿里安，在他的《爱比克泰德的论证》（Discourses of Epictetus）中有提及过：「…我们祈求上主时，会请求主垂怜我们…」（《爱比克泰德的论证》II:7）。另外，在圣经的旧约及新约中也有提及类近的内容，例如诗篇、以赛亚书、马太福音、马可福音及路加福音等。虽然在用字上有所不同，但所含的意思却是相同。4世纪时，教会制定了《使徒宪典》，并将《垂怜经》确立并纳入于礼仪当中，一直维持至今。最初《垂怜经》内的内容比现时的为长，