પછી તે મણિ પાંડવોના વંશજો પાસે ગયો. પરીક્ષિત, જન્મેજય, ચન્દ્રગુપ્ત મૌર્ય, બિંદુસાર, અશોક, બ્રહદ્રથ, પુષ્યમિત્ર એમ એક પછી એક જેની પાસે ગયો તે બધાને માટે વિપત્તિરૃપ બન્યો. કનિષ્ક, ચંદ્રગુપ્ત, હર્ષવર્ધન પછી તે માલ્વ નરેશ યશોવર્મા પાસે પહોંચ્યો. એમના વંશજ રાજા પર અલાઉદ્દીન ખિલજીએ આક્રમણ કર્યું અને માલવ દેશ પર પોતાનું આધિપત્ય સ્થાપી તે હીરા પર કબજો જમાવી દીધો. (આ માહિતી તમે ગુજરાતી વેબસાઈટ shareinindia.in ના માધ્યમથી વાંચી રહ્યા છો) તે પછી દિલ્લીના બાદશાહોના અધિકારમાં ઘણા સમય સુધી રહ્યો. ઈબ્રાહીમ લોદીના પરાજય પછી તેની બેગમ દિલ્લી છોડી આગ્રામાં આવીને રહી. તેના પર હુમાયૂઁએ હુમલો કર્યો. પોતાની ઈજ્જત બચાવવા માટે તેને તે હીરો હુમાયૂઁને આપી દેવો પડયો. હુમાયૂઁ પગથિયા પરથી લપસીને મરણ પામ્યો. તે પછી અનેક પેઢીઓ સુધી તે તેના વંશજો પાસે રહ્યો.