ההתייחסות ההיסטורית הראשונה אל הרומח נעשתה במאה ה-6 על ידי אנטונינוס מפלקנטיה. כאשר תיאר את המקומות הקדושים בירושלים, כתב, כי הוא ראה בבזיליקה של הר ציון את "עטרת הקוצים שבה אדוננו הוכתר ואת החנית שבה הוא נפגע בצדו". אזכורים על המצאות הרומח בירושלים נמצאות אצל קאסיודורוס ואצל גרגוריוס מטור, אף על פי ששניהם לא ראו את הרומח במו-עיניהם. כרוניקון פסחלה מתאר שאחרי כיבוש ירושלים בידי הפרסים הרומח נלקח לקונסטנטינופול, שם הופקד בכנסיית איה סופיה ובתחילת המאה ה-10 הועבר לכנסיית הבתולה מפארוס שם הונח לצד חלק מהצלב האמיתי ושרידי קדושים אחרים.