I desember 2004 varslet Frisvold at han ville gå av som forsvarssjef etter at han hadde vært sykemeldt flere ganger det siste året. Sverre Diesen ble utnevnt som hans etterfølger.