Մ.թ. XVII դարից Կապադովկիան դարձել է հռոմեական պրովինցիա, իսկ Մաժաք մայրաքաղաքը, ի պատիվ հռոմեական Գայոս Հուլիոս կեսար Օկտավիանոս կայսեր, վերանվանվել է Կեսարիա: 1022 թ. Բյուզանդիայի Վասիլ Երկրորդ կայսրը Կեսարիան շնորհել է Սեբաստիայի իշխան Դավիթ Արծրունուն, իսկ 1045-ից հետոª վերջինիս փեսայացած Գագիկ Երկրորդ Բագրատունուն: 1045թ. Բագրատունյաց թագավորության մայրաքաղաք Անիի անկումից հետո Գագիկ երկրորդը հիմնավորվեց այստեղ եւ հիմնադրեց սբ. Գրիգոր Լուսավորիչ եկեղեցին« որը կանգուն է մինչեւ օրս: Թուրքերի գրավումից հետո այն վերանվանվեց Կայսերի: