In 1364, toen Jan van Arkel al naar Luik was overgeplaatst, kwam een keizerlijke beschikking af op zijn verzoek om tol te mogen heffen bij o.a. Arkelstein om het onderhoud te bekostigen. Jan van Virneburg, bisschop van Utrecht van 1364 tot 1371, had beloofd dat het kasteel Arkelstein onder beheer van de bisschoppen van Utrecht zou blijven, maar omdat het bisdom krap bij kas zat verpandde zijn opvolger Arnold van Horne, bisschop van Utrecht van 1371 tot 1378, het kasteel Arkelstein aan Wouter van Voorst van de Heeckeren, partij in de Eerste Gelderse Successieoorlog. Vervolgens verpandde de bisschop het kasteel aan Henric van Stakenborch, die het als een uitvalbasis voor zijn rooftochten in Salland gebruikte. Floris van Wevelinkhoven, bisschop van Utrecht van 1378 tot 1393, leende daarop van Deventer, Kampen en Zwolle geld om het pand aan Henric van Stakenborch te voldoen. De drie steden kregen in ruil het kasteel in beheer. Er werd vastgelegd dat de slotvoogd van Arkelstein een inwoner moest zijn van een van deze drie steden.