Nekropolię otwarto w 1524 roku, tuż obok muru wybudowanego właśnie monasteru, od którego cmentarz zaczerpnął swą nazwę. Chowano tam głównie kościelnych dygnitarzy, szanowane rodziny i szlachetnie urodzonych, a także, od XIX wieku inteligencję i kupców. W 1898 roku otwarto nową część cmentarza. Przez kolejne sześć lat teren obudowano murem, zaprojektowanym przez architekta Iwana Pawłowicza Maszkowa. Od 1932 roku cmentarz stał się miejscem pochówku ludzi sławnych, wybitnych i zasłużonych dla Związku Radzieckiego, a następnie dla Federacji Rosyjskiej. Chowano tu także ludzi, którzy z pewnych względów nie mogli spocząć pod murami Kremla lub w grobowcach. Jednym z nich był dyrektor moskiewskiego teatru, sprzeciwiający się decyzji bolszewików dotyczącej zburzenia soboru Chrystusa Zbawiciela, któremu ze względu na zasługi nie można było odmówić pochówku z honorami. Dziś spoczywają tam również żołnierze polegli podczas radzieckiej interwencji w Afganistanie oraz pierwszej i drugiej wojny w Czeczenii.