Den armenske tilstedeværelsen i Jerusalem går tilbake til 300-tallet e.Kr. da Armenia gikk over til kristendommen som en nasjonalreligion og armenske munker bosatte seg i Jerusalem. Av den grunn er den betraktet som den eldste fortsatt eksisterende utvandrede samfunn av armenere utenfor det armenske hjemlandet. Gradvis utviklet kvarteret seg rundt klosteret og Sankt Jakob-katedralen (oppkalt etter apostelen Jakob) — som dominerer kvarteret — og fikk sin moderne utforming i løpet av 1800-tallet. Klosteret huser den armenske apostoliske kirkes patriarkatet Jerusalem, som ble etablert som et patriarkat (bispedømme) på 600-tallet e.Kr. Patriarkat er den faktiske administrator av kvartalet og fungerer som «mini-velferdsstat» for de armenske beboerne. Det armenske samfunnet har vært i nedgang siden midten av 1900-tallet og står i umiddelbar fare for å forsvinne, i henhold til lingvisten Bert Vaux, tidligere redaktør av .