I april 1984 kunne Presthus slå fast at Norges statsgjeld til utlandet var fullstendig nedbetalt. Forsommeren 1984 ble Høyres grep om rentepolitikken alvorlig svekket, da statsminister Willoch var sykmeldt, mens Arbeiderpartiet klarte å få med Høyres regjeringspartnere, Senterpartiet og Kristelig Folkeparti, på å sette ned renten. 25. april 1986 byttet Presthus departement til Forsvarsdepartementet, slik at han kunne bruke mer tid på partiarbeidet, men regjeringen ble felt på et kabinettsspørsmål om en økning i bensinavgiften i Stortinget bare et par uker senere, 8. mai 1986.