היחסים הדיפלומטיים בין שתי המדינות החלו זמן קצר לאחר התפרקותה של ברית המועצות, אשר בעקבותיה זכתה ארמניה לעצמאות. עם זאת, לישראל אין שגרירות רשמית בארמניה, ושגרירות ישראל בגאורגיה מופקדת על הטיפול בסוגיות הדיפלומטיות במדינה. שגרירות ארמניה בישראל ממוקמת בתל אביב, וזאת חרף מינויו של צולג מומג'יאן כקונסול הכבוד של ארמניה בירושלים בשנת 1996.