最初为墓地，1874年（明治7年）9月1日改为市民公共墓地。1889年（明治22年），青山灵园由东京府移交给东京市管理。1926年（大正15年），斋场建筑等全部捐赠给东京市，为日本第一座公营墓地。园内有维新三杰之一的大久保利通等近代名人墓碑、「」、忠犬八公之碑等。附属立山墓地则有永田铁山、木村兵太郎、相乐总三等。青山灵园也是赏樱名所，花季时期有大量民众来此赏花。