El castillo es de origen árabe, emplazado en la cima del llamado Monte de San Martín, y su existencia está atestiguada ya en el reinado de Sancho Ramírez de Aragón, que confió su custodia a Jimeno Garcés para hacer frente a las incursiones musulmanas en el Sobrarbe.