町の歴史は未だ大部分が謎に包まれている。墓など青銅器時代の遺物が発掘され地元の博物館に収蔵されていることから、そこまでさかのぼるのではないかとの説もある。しかし、アルタクシアス王朝によるアルメニア支配が終わる紀元1世紀ごろにはアルメニア王国で13番目の地方のグガルク地方に組み込まれていた。13世紀初頭には丘の近くに黒い石造りの教会が建てられたことからカラキリサの名を授かった。1801年にはグルジアと同じくロシア帝国領になり、ペルシャと対峙するロシア防衛軍の前線になった。ロシア・ペルシャ戦争中の1826年にはハッサン・カーンによって破壊されつくされた。1849年にはロシア帝国によってエレバン県に組み込まれた。1899年にトビリシへの鉄道が開通すると、交通の要衝としてその恩恵に授かった。第一次世界大戦中の1918年5月には近郊でカラキリサの戦いが起こり、アルメニア側のトヴマス・ナザルベキアン将軍が劣勢に立たされていたところへガレギン・ニデ率いる一隊がかけつけトルコ陸軍の侵略を阻止した。アルメニア第一共和国建国のきっかけとなったサルダラパートの戦いの数日後であった。ヴァナゾル市街から西へ2キロメートルほどの地点にある小さな聖堂には、戦いの記念碑を建てる計画があがった。アルメニアの作家、ハチャトゥル・アボヴィアンによると1920年代、カラキリサには600人以上が住んでいて、その大部分が首都エレバンからの移民であった。これはアルメニア県の制定後、ヴァナゾルにはカルス、アルダハン、エルズルム、ドウベヤジットなどから何百人もの移民が殺到していたためである。
日本語ではヴァナゾール、バナゾルなどとも表記されるほか、以前はカラクリス（Karaklis）、カラキリス（Karakilis）、カラクス（Karakhs）、キロヴァカン（Kirovakan）、ガラクイリサ（Gharak’ilisa）、カラキリサ（Karakilisa）、メツ・カラキリサ（Mets Karakilisa）、コロヴァカン（Korovakan）、キロワカン（Kirowakan）などの呼称もあった。帝政ロシア期はカラキリサ、ソビエト時代はキロヴァカンの呼び名が主流だった。
上記のように現在の当神社は斐太神（大国主命）に矢代明神、諏訪大明神が合祀されたものであるが、その中で斐太神社（式内社）は当初は山上に鎮座していたと伝えられ、矢代川の支流である内川の右岸、妙高市飛田字屋敷添には里宮があって拝殿が建っていたという。旧社地は神社西方の鮫ヶ尾城跡北方にある宮沢という地がそれではないかとみられるが、現社地への遷座の時期・事情は不明。もと「楲田（ひだ）明神」と称し、延喜年間（10世紀初頭）に「斐太明神」に改めたとの説もある。現鎮座地の西方と北方にそれぞれ斐太遺跡を構成する、建物跡とみられる上ノ平と百両山の竪穴群があり、百両山竪穴群の更に北方に観音平古墳群が、鎮座地南方には矢代山竪穴群（同じく斐太遺跡に含まれる）と天神堂古墳群が広がり、なかんずく観音平、天神堂の両古墳群を営んだ勢力が奉斎したのが斐太神社であった可能性も指摘されるが、社伝によれば大国主命が御子神である事代主命と建御名方命を従えて当地方へ神幸し、当地に滞在して住民に稲作の業を教える等の国土経営にあたった故事に因んで創祀されたといい、その折に当地を越国の「日高見（ひだかみ）の国」と名付けたことから「斐太」という地名が生まれ、また、国土経営に際しては大国主命と建御名方命は山野の開拓や田畠の開墾にあたり、事代主命（矢代明神）は沼沢や河川を治めて水路を開削したと伝える。大同3年（808年）の『大同類聚方』によれば、当神社に大己貴神によって処方が伝授された「佐美豆薬」という中風の特効薬があったといい、また同薬は頸城郡の少領である大神氏の家伝薬でもあったという。その後、斐太神は延喜の制で越後国頸城郡の小社に列し、事代主命は河原の鎮護として矢代川上流の岡沢山の奥に鎮座して矢代川にその名を残し、建御名方命は青田南葉山山頂に鎮座し、時期不明ながら斐太神社に合祀されたと伝え、山頂にその跡が現存するという。戦国時代には上杉氏からの崇敬を受け、当神社西方の山上に鮫ヶ尾城を築城した際には当神社を近郷128箇村の総社と定め、宮内、神宮寺、乙吉、籠町、雪森、青田、稲荷、十日市、飛田の各村を神領として寄進したといい、天正2年には上杉謙信が矢代明神を合祀し（旧社地に石祠が残る）、3神を鮫ヶ尾城の鬼門鎮護の神として崇めたというが、天正7年（1579年）の鮫ヶ尾城落城の兵火に罹って炎上し、また明暦2年（1656年）にも火災に遭っており、その際に社殿と共に古文書類も焼失したために詳しい由緒沿革は不明である。江戸時代になると天和3年（1683年）の検地で5石3合の除地を与えられ、榊原氏が越後高田藩の藩主として入封してからは同家による代々の崇敬を受けた。なお、宮内地区に南接する神宮寺地区は上越市寺町にある神宮寺があったために付けられた集落名で、同寺は当神社の神宮寺であったが、江戸時代に上越市へ移転されたという。明治6年（1873年）12月に村社に列し、昭和17年（1942年）11月3日に郷社に昇格、同20年11月3日には県社昇格の予定であったが敗戦のために沙汰止みとなった。昭和33年（1958年）5月11日には火災により社殿が全焼している。