Jest najstarszym istniejącym cmentarzem na terenie miasta. Data jego powstania nie jest dokładnie znana, ale przyjmuje się, że stało się to w okresie między 1801 a 1805 r. Teren, na którym leży cmentarz, należał wcześniej do folwarku biskupiego Psiarnia, który został poddany pod koniec XVIII wieku upaństwowieniu tak samo jak inne dobra, będące w posiadaniu biskupów krakowskich. Sama nekropolia została utworzona na skutek zarządzenia ówczesnych władz austriackich, które ze względów sanitarnych nakazywały grzebanie zmarłych poza granicami miasta. Wcześniej zmarłych chowano na cmentarzu kolegiackim znajdującym się koło obecnej bazyliki katedralnej, cmentarzu przy kościele św. Wojciecha, a także na cmentarzu, który kiedyś mieścił się obok nieistniejącej już kaplicy św. Leonarda, położonej przy obecnym Placu Moniuszki. W pierwszych latach istnienia cmentarza chowano osoby różnych wyznań: katolickiego, ewangelickiego, prawosławnego oraz unitów. Na cmentarzu pochowani są także żołnierze biorący udział w wojnach napoleońskich, powstaniach: listopadowym i styczniowym, członkowie Armii Krajowej.