Sachverhalt:
A. Der 1968 geborene E._ meldete sich am 4. Mai 2004 bei der IV-Stelle des Kantons St. Gallen zum Bezug von Leistungen der Invalidenversicherung. Die Suva sprach E._ mit Wirkung ab 1. Juni 2005 eine Rente der Unfallversicherung bei einem Invaliditätsgrad von 17 % zu (Verfügung vom 24. Juni 2005). Die Verfügung bestätigte die Suva im Einspracheverfahren und das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 15. Januar 2007. Gestützt auf das Gutachten des Instituts X._ vom 9. Juni 2006 und unter Berücksichtigung des von der Suva festgelegten Invaliditätsgrades verneinte die Invalidenversicherung nach durchgeführtem Vorbescheidverfahren einen Anspruch auf eine Rente der Invalidenversicherung, und sie lehnte es ab, berufliche Massnahmen zu gewähren (Verfügungen vom 17. Juli 2007).
B. Die dagegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 29. Dezember 2008 in dem Sinne gut, als es den Anspruch auf berufliche Massnahmen bejahte und die Auszahlung einer ganzen Invalidenrente bis zum Entscheid der IV-Stelle über berufliche Massnahmen anordnete.
C. Die IV-Stelle führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt, es sei, unter Aufhebung des angefochtenen Entscheids, festzustellen, dass ab Oktober 2005 keine Invalidenrente geschuldet sei und kein Anspruch auf berufliche Massnahmen bestehe. Eventualiter sei die Sache zur Prüfung der Verhältnismässigkeit einer Umschulung an die Verwaltung zurückzuweisen. Schliesslich sei der Anspruch auf Arbeitsvermittlung festzustellen.
E._ lässt auf Abweisung der Beschwerde schliessen, soweit darauf einzutreten sei; eventuell sei die Beschwerdeführerin zu weiterer medizinischer Abklärung zu verhalten. Er verlangt sodann die unentgeltliche Rechtspflege. Das Bundesamt für Sozialversicherungen (BSV) beantragt die Aufhebung des kantonalen Entscheids, insoweit damit berufliche Massnahmen und eine ganze Invalidenrente über Oktober 2005 hinaus zugesprochen werden.
Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 1 und 2 BGG).
2. Die Vorinstanz hat die Bestimmung über den Umfang des Rentenanspruchs (Art. 28 Abs. 1 IVG in der bis zum 31. Dezember 2007 geltenden Fassung) richtig wiedergegeben. Zutreffend sind ferner die Ausführungen zur Invaliditätsbemessung (Art. 16 ATSG und Art. 28 Abs. 2 IVG in der bis zum 31. Dezember 2007 geltenden Fassung) und den Beginn des Rentenanspruchs (Art. 29 Abs. 1 lit. b IVG in der bis zum 31. Dezember 2007 geltenden Fassung). Sodann erwähnt der angefochtene Entscheid korrekt Art. 17 IVG und die dazu ergangene Rechtsprechung, woraus sich die Anforderungen an eine berufliche Umschulung ergeben. Darauf kann verwiesen werden. Zu ergänzen ist, dass einem ärztlichen Bericht (voller) Beweiswert zuzuerkennen ist, wenn er für die streitigen Belange umfassend ist, auf allseitigen Untersuchungen beruht, auch die geklagten Beschwerden berücksichtigt und in Kenntnis der Vorakten (Anamnese) abgegeben worden ist, wenn die Beschreibung der medizinischen Situation und Zusammenhänge einleuchtet und die Schlussfolgerungen des Arztes begründet sind (BGE 125 V 351 E. 3a S. 352; Urteil 9C_55/2008 vom 26. Mai 2008 E. 4.2).
3. 3.1 Das kantonale Gericht ist mit der IV-Stelle von einer uneingeschränkten Leistungsfähigkeit in einer dem Leiden angepassten leichten Arbeit mit einem bloss feinmotorischen Einsatz der verletzten rechten Hand ohne Schläge, Vibrationen sowie Kälte ausgegangen. Demgegenüber macht der Versicherte vor Bundesgericht eine Verschlechterung der rechten Hand geltend, welche erneut einen operativen Eingriff erforderlich gemacht habe. Der Gesundheitszustand sei entsprechend labil, weshalb das Gutachten des Instituts X._ überholt sei. Hinzu komme, dass er schon im Zeitpunkt der Begutachtung psychisch angeschlagen gewesen sei, was die Experten nicht erkannt hätten. Zu Unrecht habe die Beschwerdeführerin vom behandelnden Arzt, Dr. med. K._, keine Unterlagen verlangt.
3.2 Soweit der Beschwerdegegner eine seit dem Erlass der angefochtenen Verfügungen vom 17. Juli 2007 eingetretene gesundheitliche Verschlechterung geltend macht, ist er nicht zu hören; denn der Erlass der strittigen Verfügung bildet rechtsprechungsgemäss die zeitliche Grenze der richterlichen Überprüfungsbefugnis (BGE 132 V 215 E. 3.1.1 S. 220 mit Hinweisen). Die seitherige Entwicklung des Gesundheitszustandes mit im Jahr 2008 durchgeführten operativen Eingriffen ist folglich nicht Gegenstand des gerichtlichen Beschwerdeverfahrens. Was die auch letztinstanzlich ins Feld geführten psychischen Beschwerden betrifft, hat das kantonale Gericht die medizinische Aktenlage vollständig und korrekt dargelegt und widerspruchsfrei begründet, weshalb dem polydisziplinären Gutachten des Instituts X._ vom 9. Juni 2006 im Rahmen der freien Beweiswürdigung (Art. 61 lit. c ATSG) ausschlaggebendes Gewicht beizumessen ist. Nicht offensichtlich unrichtig hat es eine psychische Symptomatik mit Einfluss auf die Arbeitsfähigkeit verneint, was das Bundesgericht bindet (Art. 97 Abs. 1 und Art. 105 Abs. 1 BGG). Namentlich überzeugt das Argument des Beschwerdegegners nicht, er sei wegen familiärer Probleme zu dieser Zeit schwer angeschlagen und nicht arbeitsfähig gewesen, was die Experten des Instituts X._ übersehen hätten. Er selbst hat diesen Umstand für offensichtlich zu wenig schwerwiegend erachtet, um ihn anlässlich der Begutachtung zu erwähnen, was gegen dessen Erheblichkeit spricht. Nachdem der rechtserhebliche Sachverhalt rechtsgenüglich abgeklärt worden ist, durfte die Vorinstanz ohne Verletzung des Untersuchungsgrundsatzes auf die Anordnung weiterer Beweismassnahmen in antizipierter Beweiswürdigung verzichten (vgl. BGE 124 V 90 E. 4b S. 94, 122 V 157 E. 1d S. 162). Dem Antrag des Beschwerdegegners, es sei die Sache zur Vornahme ergänzender Abklärungen zurückzuweisen, ist nicht stattzugeben.
4.1 4.1.1 Das vorinstanzliche Gericht erwog, bei versicherten Personen mit Ausbildung richte sich der Anspruch auf berufliche Massnahmen nach der Erwerbseinbusse, welche sie invaliditätsbedingt im angestammten Beruf erleiden, weshalb der Versicherte als Ungelernter anhand der konkreten Behinderung ohne Eingliederungsmassnahmen in der praktischen Handarbeit, wie sie im Einsatzspektrum von Hilfskräften dominieren, zu beurteilen sei und sich die Lohneinbusse danach bestimme. Der Beschwerdegegner sei zwar als Hilfsarbeiter zu betrachten und in einer leidensangepassten Tätigkeit bestehe volle Arbeitsfähigkeit; zudem erscheine mit Blick auf die gesundheitlichen Verhältnisse ein Einsatz nicht als realitätsfremd, und es könne nicht gesagt werden, der allgemeine Arbeitsmarkt kenne keine dem Leiden angepasste Tätigkeiten. Für die Bemessung der Umschulungsinvalidität erlaube hingegen die Art und Schwere des Leidens nicht ohne weiteres ein Abstellen auf die Verdienstmöglichkeiten auf dem als ausgeglichen fingierten hypothetischen Arbeitsmarkt, weshalb nicht auf durchschnittliche Löhne abzustellen sei. Ohne sorgfältige Eingliederungsbemühungen führe die konkrete Behinderung im Einsatzspektrum handwerklicher Arbeiten mutmasslich zu einer namhaften Lohneinbusse, welche ermessensmässig 20 % übersteige. Die Voraussetzungen für berufliche Massnahmen seien somit erfüllt. Der vom vorinstanzlichen Gericht in bloss ergänzendem Sinn unter Verwendung statistischer Löhne bezogen auf den ausgeglichenen Arbeitsmarkt durchgeführte Einkommensvergleich ergab unter Anrechnung eines Leidensabzuges von 25 % einen mehr als 20%igen Invaliditätsgrad.
4.1.2 Hiegegen trägt die IV-Stelle vor, dem Versicherten stehe trotz seiner Behinderung ein hinreichend grosser Arbeitsmarkt mit realistischen Betätigungsmöglichkeiten offen. Die Vorinstanz gehe jedenfalls mit Recht davon aus, der ausgeglichene Arbeitsmarkt kenne seinen Einschränkungen angepasste Arbeitsmöglichkeiten, weshalb es nicht angehe, mit der Begründung der Art und Schwere der Behinderung ein Abstellen auf die hypothetischen Verdienstmöglichkeiten zu verneinen. Im gleichen Sinn stellt sich das BSV auf den Standpunkt, die Schadenminderungspflicht gebiete - soweit zumutbar - die Selbsteingliederung auf dem ausgeglichenen, nicht jedoch konkreten Arbeitsmarkt. Nach Erstem sei der Leistungsanspruch auf berufliche Massnahmen zu beurteilen.
4.2 Nebst anderer Voraussetzungen bedarf es für eine berufliche Umschulung der invaliditätsbedingten Erwerbseinbusse von etwa 20 % (BGE 130 V 488 E. 4.2 S. 489; 124 V 108 E. 2b S. 110). Entgegen der vorinstanzlichen Betrachtungsweise bestimmt sich die leistungsspezifische Lohneinbusse bei Versicherten mit oder ohne berufliche Ausbildung anhand eines Vergleichs des Valideneinkommens mit jenem Einkommen, welches die versicherte Person nach Durchführung der medizinischen Behandlung, hingegen ohne Eingliederungsmassnahmen, erzielen könnte, sofern ihr eine zumutbare Tätigkeit bei ausgeglichener Arbeitsmarktlage ohne (zusätzliche) berufliche Ausbildung, somit auf dem Weg der Selbsteingliederung, offensteht (vgl. ULRICH MEYER-BLASER, Bundesgesetz über die Invalidenversicherung, 1997, S. 124 f.). Die Selbsteingliederung als Ausdruck der allgemeinen Schadenminderungspflicht geht nicht nur dem Renten-, sondern auch dem gesetzlichen Eingliederungsanspruch vor (BGE 113 V 22 E. 4a S. 28). Eine Bezugnahme auf die Einbusse im üblichen Einsatzspektrum handwerklicher Tätigkeiten - wie dieses auch immer zu konkretisieren wäre - entfällt. Damit stellt sich allein die Frage, ob der vom kantonalen Gericht bloss subsidiär auf der Basis statistischer Löhne und damit nach dem ausgeglichenen Arbeitsmarkt vorgenommene Einkommensvergleich rechtlich korrekt ist.
5. 5.1 Auf der nicht medizinischen beruflich-erwerblichen Stufe der Invaliditätsbemessung charakterisieren sich als Rechtsfragen die gesetzlichen und rechtsprechungsgemässen Regeln über die Durchführung des Einkommensvergleichs (BGE 130 V 343 E. 3.4 S. 348, 128 V 29 E. 1 S. 30, 104 V 135 E. 2a und b S. 136 f.). In dieser Sicht ist die Feststellung der beiden hypothetischen Vergleichseinkommen Tatfrage, soweit sie auf konkreter Beweiswürdigung beruht, hingegen Rechtsfrage, soweit sich der Entscheid nach der allgemeinen Lebenserfahrung richtet. Schliesslich ist die Frage, ob ein (behinderungsbedingt oder anderweitig begründeter) Leidensabzug vorzunehmen sei, eine Rechtsfrage, während jene nach der Höhe des Abzuges eine typische Ermessensfrage darstellt, deren Beantwortung letztinstanzlicher Korrektur nur mehr dort zugänglich ist, wo das kantonale Gericht das Ermessen rechtsfehlerhaft ausgeübt hat (BGE 132 V 393 E. 3.3 S. 399).
5.2 Das kantonale Gericht ist von den Lohnverhältnissen im Jahr 2004 ausgegangen und hat gestützt auf den "Fragebogen für den Arbeitgeber" vom 8. Juni 2004 einen Validenlohn in der Höhe von Fr. 63'024.- festgestellt (13 x Fr. 4'848.-). Hingegen gab die Arbeitgeberfirma der Suva für das Jahr 2004 einen Monatslohn von Fr. 4'475.- an (Jahreslohn: Fr. 58'175.-). Zudem enthält die Lohnbestätigung vom 8. Juni 2004 einerseits einen Stundenlohn von Fr. 27.40 (Jahresstundenzahl von 2112; Jahreseinkommen Fr. 57'869.-) und einen Jahreslohn von Fr. 57'915.-, anderseits ist ein Monatseinkommen von Fr. 4'826.25.- festgehalten, welcher Betrag bloss unter der Annahme mit den übrigen Lohnangaben in Einklang steht, darin sei der anteilige 13. Monatslohn enthalten (12 x Fr. 4'826.25 = Fr. 57'915.-). Der Jahreslohn von Fr. 57'915.- stimmt mit dem der Suva für das Jahr 2003 mitgeteilten Betrag (Fr. 4'455.- im Monat) und mit der im bundesgerichtlichen Verfahren vom Beschwerdegegner eingereichten Lohnabrechnung vom 4. März 2003 überein, welche den Monatslohn von Fr. 4'455.- ausweist. Hiebei ist zu beachten, dass die im Lohnnachweis vom 8. Juni 2004 angegebenen Beträge (und damit der Jahreslohn von Fr. 57'915.-) ab 1. Januar 2003 Gültigkeit hatten. Nachweislich hat der Versicherte im Jahr 2003 somit einen Monatslohn von Fr. 4'455.- erhalten. Demnach ist der vom Arbeitgeber der IV-Selle für das Jahr 2004 angegebene und von der Vorinstanz verwendete Betrag von Fr. 4'848.- bloss nachvollziehbar, wenn darin der Anteil am 13. Monatslohn eingeschlossen ist. Unter dieser Voraussetzung resultiert ein Jahreseinkommen von Fr. 58'176.- (12 x Fr. 4'848.-), welches fast genau mit dem Betrag von Fr. 58'175.- übereinstimmt, der sich aus dem von der Arbeitgeberfirma der Suva angegebenen monatlichen Einkommen von Fr. 4'475.- (ohne 13. Monatslohn) ergibt. Der im bundesgerichtlichen Verfahren vorgelegte Lohnausweis für die Steuererklärung, worin ein Bruttolohn von Fr. 62'031.- (2002) ausgewiesen ist, ändert daran nichts, weil darin Kinderzulagen von Fr. 4'080.- inbegriffen sind, die für den Einkommensvergleich ausser Betracht fallen. Weil die Vorinstanz den Monatslohn von Fr. 4'848.- ohne Anteil 13. Monatslohn veranschlagt hat, stellte sie den Validenlohn mit Fr. 63'024.- offensichtlich unrichtig fest, weshalb das Bundesgericht daran nicht gebunden ist (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). Das Einkommen als Gesunder ist anhand der Angaben des Arbeitgebers gegenüber der Suva festzusetzen, zumal das Versicherungsgericht des Kantons St. Gallen im Entscheid vom 15. Januar 2007 betreffend das unfallversicherungsrechtliche Verfahren darauf abgestellt hat. Danach hätte der Beschwerdegegner im Jahr 2004 ein Einkommen von Fr. 58'175.- (13 x Fr. 4'475.-) erzielt.
5.3 Den Invalidenlohn von Fr. 42'944.- ermittelte das vorinstanzliche Gericht anhand der Schweizerischen Lohnstrukturerhebung des Bundesamtes für Statistik (LSE 2004, Tabelle TA1, Anforderungsniveau 4; Fr. 57'258.-) und unter Anrechnung eines behinderungsbedingten Abzuges von 25 %. Rechtlich nicht zu beanstanden ist die gewählte Tabelle TA1 und das Anforderungsniveau 4. Den behinderungsbedingten Abzug von 25 % begründet der angefochtene Entscheid als "den vorliegenden Verhältnissen" angemessen", ohne die Verhältnisse zu konkretisieren. Insbesondere erklärt er nicht, weshalb von dem in der unfallversicherungsrechtlichen Sache gewährten Abzug von 15 % abzuweichen ist, wobei der Versicherte in einer dem Leiden angepassten Tätigkeit uneingeschränkt arbeiten könnte, was gegen den höchstmöglichen Abzug von 25 % spricht (BGE 126 V 75 E. 5b/cc S. 80; Urteil 8C_664/2007 vom 14. April 2008 E. 8.3). Die IV-Stelle hat - wie die Suva - einen Abzug von 15 % gewährt. Da das Gericht sein Ermessen nicht ohne triftigen Grund an die Stelle desjenigen der Verwaltung setzen darf (BGE 126 V 75 E. 6 S. 81), und der angefochtene Entscheid die Gründe für eine fehlerhafte Ermessensausübung durch die Verwaltung nicht nennt, hält dieser auch insofern der Prüfung rechtlich nicht stand. Damit bleibt es bei dem von der Verwaltung festgesetzten Leidensabzug von 15 %, was insgesamt ein Invalideneinkommen von jährlich Fr. 48'669.- ergibt.
5.4 Bei einem Validenlohn von Fr. 58'175.- und Invalideneinkommen von Fr. 48'669.- erreicht der Invaliditätsgrad 16 %, womit er unterhalb der massgeblichen Grenze von 20 % liegt (vgl. E. 4.2 hievor). Ein Anspruch auf berufliche Massnahmen besteht folglich nicht.
6. 6.1 Ändert sich der Invaliditätsgrad einer Rentenbezügerin oder eines Rentenbezügers erheblich, so wird die Rente von Amtes wegen oder auf Gesuch hin für die Zukunft entsprechend erhöht, herabgesetzt oder aufgehoben (Art. 17 Abs. 1 ATSG). Die anspruchsbeeinflussende Änderung für die Herabsetzung oder Aufhebung der Leistung ist von dem Zeitpunkt an zu berücksichtigen, in dem angenommen werden kann, dass sie voraussichtlich längere Zeit dauern wird. Sie ist in jedem Fall zu berücksichtigen, nachdem sie ohne wesentliche Unterbrechung drei Monate angedauert hat und voraussichtlich weiter andauern wird (Art. 88a Abs. 1 IVV).
6.2 Das kantonale Gericht hat dem kreisärztlichen Untersuchungsbericht vom 3. Mai 2005 im Rahmen einer bundesrechtskonformen Beweiswürdigung vollen Beweiswert zuerkannt und darauf abgestützt eine uneingeschränkte Arbeitsfähigkeit in einer dem Leiden angepassten Beschäftigung ab Juli 2005 festgestellt, was nicht offensichtlich unrichtig ist und das Bundesgericht bindet (Art. 97 Abs. 1 und Art. 105 Abs. 1 BGG). Gründe, der Versicherte könne das Leistungsvermögen im Rahmen der Selbsteingliederung nicht sogleich und ohne Eingliederungsmassnahmen auf dem ausgeglichenen Arbeitsmarkt umsetzen, sind nicht erkennbar. Das kantonale Gericht hat jedenfalls solche nicht festgestellt, zumal es in dieser Hinsicht fälschlicherweise handwerkliche Tätigkeiten, welche das Einsatzspektrum von Hilfskräften dominieren, zum Massstab nahm und nicht eine dem Leiden angepasste leichte Beschäftigung (vgl. E. 4.1.1 hievor; Urteil 9C_720/2007 vom 28. April 2008 E. 4.1, in: SZS 2009 S. 147). Der Invaliditätsgrad liegt - wie bereits erwähnt - jedenfalls ab Juli 2005 wesentlich unterhalb der leistungsbegründenden Grenze von 40 % (E. 4.2). Gestützt auf Art. 88a Abs. 1 IVV ist der Rentenanspruch daher nur bis Ende September 2005 gegeben. Der angefochtene Entscheid verstösst auch insofern gegen Bundesrecht.
6.3 Die IV-Stelle beantragt, es sei festzustellen, dass ein Anspruch auf Arbeitsvermittlung bestehe. Das kantonale Gericht hat in genereller Weise berufliche Massnahmen zugesprochen, ohne einen Unterschied zwischen Umschulung und Arbeitsvermittlung zu machen. Zudem verweist das Dispositiv auf die Erwägungen. Weil die IV-Stelle zumindest den Anspruch auf Arbeitsvermittlung anerkennt, ist der angefochtene Entscheid insofern nicht streitig und in Rechtskraft erwachsen. Raum für ein Feststellungsurteil darüber besteht nicht.
7. Dem Gesuch um unentgeltliche Rechtspflege ist stattzugeben, da die Voraussetzungen erfüllt sind (Art. 64 BGG; vgl. BGE 125 V 201 E. 4a S. 202 und 371 E. 5b S. 372). Es wird ausdrücklich auf Art. 64 Abs. 4 BGG hingewiesen, wonach die Partei der Gerichtskasse Ersatz zu leisten hat, wenn sie später dazu in der Lage ist.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird, soweit darauf einzutreten ist, gutgeheissen und der Entscheid des Versicherungsgerichtes des Kantons St. Gallen vom 29. Dezember 2008 aufgehoben, soweit damit ein Anspruch auf Umschulung und eine Rente der Invalidenversicherung ab Oktober 2005 bejaht wird.
2. Dem Beschwerdegegner wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdegegner auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Versicherungsgericht des Kantons St. Gallen zurückgewiesen.
5. Rechtsanwalt Dr. Kreso Glavas wird als unentgeltlicher Anwalt des Beschwerdegegners bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2'000.- ausgerichtet.
6. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 17. Juni 2009
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Ettlin