થોડા ઐતિહાસિકકારો ના પ્રમાણે આ કિલ્લા ઉપર પહેલા રાજા શાહબાદ નુ શાસન હતું પરંતુ રોહતાસ કિલ્લા ઉપર કબ્જો કર્યા પછી શેરશાહ ની આ કિલ્લા ઉપર નજર પડી અને તેને પણ પોતાના અધીન કરી લીધો અને થોડાક ઇતિહાસકારોનું માનવું છે કે શેરશાહ સૂરી ને આ કિલ્લો તેમના પ્રિય મિત્ર ખરવાર રાજા ગજપતી ને ભેટમાં આપ્યો હતો.