Utnämningen av ordförande för energileverantören SSE och ingenjörsföretaget Weir Group kom som banken bildades som ett offentligt företag.
Hans ställföreträdare kommer att vara Sir Adrian Montague, som har lett bankens rådgivande grupp.
Den gröna banken håller på att inrättas med 3 miljarder pund offentliga medel för att hjälpa företag att finansiera program för förnybar energi i ett tidigt skede.
Dess huvudkontor kommer att vara baserat i Edinburgh efter staden slå av konkurrensen från 31 andra bud.
Den nybildade styrelsen kommer att börja rekrytera andra direktörer och ledande befattningshavare för att banken ska kunna börja fungera fullt ut i höst, med förbehåll för godkännande av statligt stöd från Europeiska kommissionen.
Den rådgivande gruppen, som leds av 3i och Anglian Water Groups ordförande Sir Adrian, kommer att upplösas efter utnämningarna.
Förutom sina roller på Weir Group och SSE, Lord Smith of Kelvin är ordförande i Glasgow 2014 Commonwealth Games organisationskommitté och chef för Standard Bank Group.
Sir Adrian var tidigare ordförande för Friends Provident Group och British Energy Group.
Cable sade följande:  
          Gröna investeringsbanken
 var en "stor ny innovation", avgörande för att säkra investeringar i minskade koldioxidutsläpp från Förenade kungarikets energiförsörjning.
"Den har funnit två kandidater av enastående kaliber väl lämpade att leda banken genom sin viktiga tidiga fas," tillade han.
Skotsk sekreterare Michael Moore sade: "Detta är en brittisk institution med huvudkontor i Edinburgh med stöd av ett starkt team i London och nyheten att Lord Smith och Sir Adrian Montague har utsetts är ytterligare ett steg mot att öppna banken för affärer.
"De tillför en mängd erfarenheter till rollerna och kommer att föra det att bära när vi ser fram emot att uppmuntra den privata sektorns investeringar i viktiga energiprojekt."
Även om bankens huvudkontor kommer att ligga i Edinburgh, kommer dess huvudsakliga transaktionsgrupp att vara baserad i London.
Lord Smith av Kelvin kommer att vara ordförande för UK Green Investment Bank (GIB), affärssekreterare Vince Cable har meddelat.