En 1552, l'évêque de Veszprém établit dans le château le siège de l'évêché, après la Bataille de Mohács, la conquête des villes de Székesfehérvár et Veszprém par les Turcs. Ces derniers détruisirent partiellement Sümeg quelques années plus tard, lors de la "Longue Guerre", mais ne purent prendre la forteresse.