Sommeren 2001 la Mjelde opp som aktiv fotballspiller og gikk inn i trenerapparatet i . I januar 2003 overtok Mjelde som hovedtrener etter at islendingen Teitur Thordarson trakk seg.