Գավառը Հայաստանի հնագույն բնակավայրերից է; Քաղաքի մեջ ցցված քարաժայռի գլխին եղել է նախաուրարտական բերդ-շեն, որը գրավել է ուրարտական Ռուսա թագավորը և նոր կառուցումներ կատարել;Այս մասին գրված սեպագիր արձանագրությունը գտնվել է 1927 թվականին;Միջին դարերում այս բնակավայրը կոչվել է Գավառ, որի Քյավառ ժողովրդական անվանումը կենդանի է և այժմ; Գավառ անվան ամենահին հիշատակությունը պահպանված է Դարի գլուխ կոչվող գերեզմանատան միջի խաչքարի արձանագրության մեջ, որը թվագրված է 1934թ.; Բնակավայրը քաղաք է դառնում Հին Բայազետից եկած գաղթականների վերաբնակվելուց հետո` 1930թ., ովքերև, ի հիշատակ իրենց նախկին բնակավայրի, կոչում են Նոր Բայազետ; Արձանագրություն ունեցող հուշարձանները ցրված են քաղաքի տարբեր մասերում. ըստ հնության հետևյալներն են. ա/ Ձորամիջի գերեզմանատուն. գտնվում է քաղաքի ամենահին ` Բանդի թաղի եզրին, Ղշլաղ տանող խճուղու կողքին, գետի ձախ ափին; Նախապես եղել է քաղաքից դուրս, իսկ այժմ շրջապատված է արդեն տներով; Մեջտեղում կա հասարակ, քարերով շինված մի ավերակ եկեղեցի, որը կոչվում է ս.Պողոս-Պերոս, իսկ շուրջը` գերեզմանատուն;Գերազմանատան հուշարձանները մեծ մասամբ տեղից շարժված են, մի մասն էլ հավաքված է եկեղեցու մեջ; Այստեղ եղած 10-ը արձանագրությունից ամենահինը` 1000թ., այժմ կորած է; բ/ Խաչերի թաղ. քաղաքի հարավ-արևմտյան թաղամասն է. ըստ տեղեկությունների, ինչպես նաև անունն է ցույց տալիս, անցյալում այստեղ եղել են մի խումբ խաչքարեր, որից էլ թաղամասն ստացել է իր անվանումը; Երբ և ինչ հանգամանքներում են խաչքարերը վերացել, հստակ տեղեկություններ չկան; Դրանցից միայն մեկն է հայտնաբերվել մի տան բակում , որը, ըստ թվագրության, 13-րդ դարի խաչքար է; Այս մեկւ թվագրությունը ապացույց է , որը եղածները առնվազն 13-րդ դարից են; գ/ <Դարի գլուխ>. այսպես է կոչվում դեպի քաղաքի կենտրոնն առաջացած քարափի վրայի հարթությունը, որի եռանկյունաձև մասում եղել է նախաուրարտական բերդ-շենը; Հենց այդ հին բերդի տարածությունն է միջնադարում վեր ածվել գերեզմանատան, ուր կա նաև հասարակ քարերով շինված մի մատուռ` Սուրբ Ստեփանոս անունով; Գերեզմանատունն ընդարձակվելով դուրս է եկել բերդի սահմաններից և տարածվել դեպի արևելք; Դրանք մի ժամանակ իրարից անջատված են եղել բերդի պարսպով. այն ժամանակի ընթացքում փլվել է և այժմ երկու մասերը գրեթե միացած են; Եռանկյունու արևմտյան մասում պահպանվում են հիանալի քանդակներով խաչքարեր, որոնք պատկանում են Գավառի երբեմնի տանուտերերին ու նրանց տոհմակիցներին;Այստեղ առանձնանում է Ս. Աստվածածնի մոտի խաչքարը, Գավառի առվի և եկեղեցու շինությանվերաբերյալ կարևոր առձանագրությամբ, որը թվագրվում է 1374 թվականով; դ/ Սուրբ Կարապետ եկեղեցի. շինված է սրբատաշ քարերով, 1848 թվականին, Բանդի թաղի մեջ, բայց թե եկեղեցու և թե նրա բակի պարսպի մեջ ագուցված են հին խաչքարեր, որոնցից 2-ն ունեն արձանագրություն; ե/ Սուրբ Հովհաննես մատուռ. գտնվում է քաղաքից Արծվաքար տանող ճանապարհի եզրին, երկուսի գրեթե մեջտեղում, շինված է փլված ժայռաբեկորներից կազմված նեղ անցքի մեջ, որի մեկ պատն է միայն շարված; Ներսում դրված մի խաչքարի վրա և դիմացի մեծ ժայռաբեկորի երեսին կա արձանագրություն;