Sachverhalt:
A. Der 1956 geborene M._ meldete sich im November 2001 bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 23. Februar 2007 gewährte ihm die IV-Stelle des Kantons Zürich Arbeitsvermittlung. Am 7. Februar 2008 teilte sie ihm mit, die Massnahme sei erfolgreich abgeschlossen worden. Am 10. Februar 2009 beantragte der Versicherte erneute Arbeitsvermittlung. Nach Abklärungen und Durchführung des Vorbescheidverfahrens verneinte die IV-Stelle mit Verfügung vom 26. März 2009 einen solchen Anspruch .
B. Die dagegen erhobene Beschwerde des M._ sowie das gleichzeitig gestellte Gesuch um unentgeltliche Rechtspflege wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 29. September 2009 ab.
C. M._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, es sei der Entscheid vom 29. September 2009 aufzuheben und das kantonale Gericht zu verpflichten, ihm für das vorinstanzliche Verfahren unentgeltliche Rechtspflege zu gewähren. Ferner lässt er für das Verfahren vor Bundesgericht um unentgeltliche Rechtspflege ersuchen.

Erwägungen:
1. Nach dem Wortlaut des entsprechenden Antrags verlangt der Beschwerdeführer die Aufhebung des gesamten vorinstanzlichen Entscheids. Aus der Beschwerdebegründung, die zur Auslegung der Rechtsbegehren beizuziehen ist (Anwaltsrevue 2009 8 S. 393, 9C_251/2009 E. 1.3 mit Hinweisen), ergibt sich indessen, dass nur die Verweigerung der unentgeltlichen Rechtspflege für das kantonale Beschwerdeverfahren angefochten wird.
2. Jede Person, die nicht über die erforderlichen Mittel verfügt, hat Anspruch auf unentgeltliche Rechtspflege, wenn ihr Rechtsbegehren nicht aussichtslos erscheint. Soweit es zur Wahrung ihrer Rechte notwendig ist, hat sie ausserdem Anspruch auf unentgeltlichen Rechtsbeistand (<ref-law>). Die unentgeltliche Rechtspflege bezweckt, auch der bedürftigen Partei den Zugang zum Gericht und die Wahrung ihrer Parteirechte zu ermöglichen. Sie soll sicherstellen, dass jedermann unabhängig von seinen finanziellen Verhältnissen nicht aussichtslose Streitsachen zur gerichtlichen Entscheidung bringen und sich überdies im Prozess, sofern es sachlich geboten ist, durch einen Anwalt vertreten lassen kann (<ref-ruling> E. 7.1 S. 2). Für das - in der Regel kostenlose (<ref-law> [SR 830.1]) - sozialversicherungsrechtliche Beschwerdeverfahren findet der Anspruch auf unentgeltlichen Rechtsbeistand in <ref-law> eine gesetzliche Grundlage.
3. 3.1 Die Vorinstanz hat den Anspruch auf Arbeitsvermittlung verneint mit der Begründung, der Beschwerdeführer sei in leichten Tätigkeiten uneingeschränkt arbeitsfähig und daher für das Finden einer zumutbaren Stelle nicht auf die spezifischen Fachkenntnisse der Invalidenversicherung angewiesen; er könne dafür die "öffentliche" Arbeitsvermittlung in Anspruch nehmen. Auf die früher zugesprochenen und durchgeführten Massnahmen könne er sich nicht berufen. Das kantonale Gericht hat die Beschwerde sodann als aussichtlos beurteilt: Bereits aufgrund der angefochtenen Verfügung vom 26. März 2009 habe dem Beschwerdeführer klar sein müssen, dass sein Rechtsbegehren offensichtlich unbegründet sei, zumal er auf laufende Massnahmen verweise, die indessen bereits abgeschlossen worden seien, und eine massgebliche Einschränkung der Arbeitsfähigkeit geltend mache, obwohl aus dem Gutachten des Dr. med. J._ vom 20. September 2005 hervorgehe, dass er in leichten Tätigkeiten nicht eingeschränkt sei. Ausserdem sei für die Leistungsart Arbeitsvermittlung eine (unentgeltliche) anwaltliche Verbeiständung grundsätzlich nicht geboten.
3.2 In seiner Beschwerde an das kantonale Gericht bestritt der Versicherte nicht, dass er in einer leichten Tätigkeit voll arbeitsfähig sei, er machte indessen - ebenfalls unter Hinweis auf das Gutachten des Dr. med. J._ - Einschränkungen für schwere Arbeiten geltend. Da er am ehesten noch als Hilfsarbeiter eine Stelle finden könne, in solchen Tätigkeiten aber oft eine uneingeschränkte Leistungsfähigkeit verlangt werde, sei er bei der Stellensuche handicapiert. Ferner wies er darauf hin, dass ihm die IV früher Massnahmen gewährt habe und sich sein Gesundheitszustand seither nicht gebessert habe.
4. 4.1 <ref-law>, welcher den Anspruch auf Arbeitsvermittlung regelt, erfuhr anlässlich der 5. IV-Revision (Änderung des IVG vom 6. Oktober 2006, in Kraft seit 1. Januar 2008) eine Modifikation. War der Anspruch früher nur für (eingliederungsfähige) invalide Versicherte vorgesehen (vgl. dazu Urteil I 427/05 vom 24. März 2006 E. 4), genügt nunmehr eine Arbeitsunfähigkeit im Sinne von <ref-law>, mithin im bisherigen Beruf. Damit wurde die Anspruchsberechtigung weiter gefasst als bisher (Botschaft vom 22. Juni 2005 zur Änderung des Bundesgesetzes über die Invalidenversicherung, BBl 2005 4565). Dementsprechend wurden auch die allgemeinen Voraussetzungen für den Anspruch auf Eingliederungsmassnahmen in <ref-law> geändert: Waren bisher Invalide oder von einer Invalidität unmittelbar Bedrohte angesprochen, wurde in der neuen Fassung auf den Zusatz "unmittelbar" verzichtet. Allerdings stellte der Bundesrat zugleich klar, dass sowohl die grundsätzlichen als auch die speziellen Anspruchsvoraussetzungen, namentlich jene von <ref-law>, erfüllt sein müssen (BBl 2005 4561).
4.2 In Bezug auf die Arbeitsfähigkeit in schweren körperlichen Tätigkeiten fehlen vorinstanzliche Feststellungen. Selbst wenn diesbezüglich eine vollständige Einschränkung anzunehmen wäre, steht fest, dass der Beschwerdeführer - auch vor Eintritt der gesundheitlichen Beeinträchtigungen - nie eine solche Tätigkeit ausübte, sondern als Buchhalter resp. kfm. Angestellter oder Allrounder arbeitete. Die von der Vorinstanz nicht offensichtlich unrichtig festgestellte (vgl. Art. 105 Abs. 1 und 2 BGG) volle Arbeitsfähigkeit in leichter Tätigkeit wird auch durch den Bericht des Dr. med. K._ vom 18. Juni 2008 nicht substanziiert in Frage gestellt. In der Verfügung vom 26. März 2009 wurde der Versicherte darauf hingewiesen, dass er sich beim Regionalen Arbeitsvermittlungszentrum (RAV) melden könne; dies bestritt er im vorinstanzlichen Verfahren nicht, sondern machte nur geltend, vom RAV zu wenig unterstützt worden zu sein. Hingegen hatte die IV-Stelle dem Beschwerdeführer noch am 15. November 2007 Kostengutsprache für ein Arbeitstraining erteilt und ein entsprechendes Taggeld zugesprochen, obwohl ihr das Gutachten des Dr. med. J._ vom 20. September 2007 bereits damals bekannt war. Dass sich seither an der gesundheitlichen Situation etwas Wesentliches geändert hätte, ist nicht ersichtlich. Es ist daher nachvollziehbar, dass der Versicherte gegen die einen Anspruch nunmehr verneinende Verfügung Beschwerde erhob. Diese konnte nicht als aussichtslos beurteilt werden.
4.3 Die bedürftige Partei hat in nicht aussichtslosen Verfahren Anspruch auf unentgeltliche Verbeiständung, wenn ihre Interessen in schwerwiegender Weise betroffen sind und der Fall in tatsächlicher und rechtlicher Hinsicht Schwierigkeiten bietet, die den Beizug eines Rechtsvertreters erforderlich machen. Droht das in Frage stehende Verfahren besonders stark in die Rechtsposition der betroffenen Person einzugreifen, ist die Bestellung eines unentgeltlichen Rechtsvertreters grundsätzlich geboten, sonst nur dann, wenn zur relativen Schwere des Falles besondere tatsächliche oder rechtliche Schwierigkeiten hinzukommen, denen der Gesuchsteller auf sich alleine gestellt nicht gewachsen wäre (<ref-ruling> E. 2.2 S. 182 mit Hinweisen). Diese Kriterien gelten auch im Rahmen von <ref-law>; die Untersuchungs- und Offizialmaxime rechtfertigen es jedoch, an die Gebotenheit einer anwaltlichen Verbeiständung einen strengen Massstab anzulegen (Urteil U 310/05 vom 26. Januar 2006 E. 3).
4.4 Die Gewährung oder Verweigerung von Arbeitsvermittlung greift nicht besonders stark in die Rechtsposition des Versicherten ein; er ist auch ohne Arbeitsvermittlung durch die Invalidenversicherung in der Lage, sich - allein oder mit Unterstützung des RAV - um Arbeit zu bemühen. Der konkrete Fall bietet keine besonderen sachlichen oder rechtlichen Schwierigkeiten. Aus den Akten ergibt sich, dass der Beschwerdeführer über eine gute Ausbildung verfügt, seit rund 20 Jahren in der Schweiz lebt, als Buchhalter resp. kfm. Angestellter arbeitete und bereits zahlreiche Kontakte mit Sozialversicherungsorganen hatte. Er wäre daher in der Lage gewesen, gegen die Verfügung vom 26. März 2009 selber, mithin ohne anwaltliche Vertretung, eine Beschwerde zu verfassen.
4.5 Die Bedürftigkeit des Beschwerdeführers ist ausgewiesen. Nach dem Gesagten ist für das vorinstanzliche Verfahren der Anspruch auf unentgeltliche Prozessführung zu bejahen, nicht aber jener auf unentgeltliche Verbeiständung.
5. Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten den Parteien grundsätzlich je hälftig aufzuerlegen (<ref-law>). Vom Kanton als (teilweise) unterliegende Partei sind indessen keine Gerichtskosten zu erheben (<ref-law>). Hingegen hat der Beschwerdeführer für das bundesgerichtliche Verfahren Anspruch auf eine (reduzierte) Parteientschädigung (<ref-law>).
Soweit dadurch nicht gegenstandslos geworden, kann dem Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege entsprochen werden (Art. 64 Abs. 1 und 2 BGG; vgl. <ref-ruling> E. 2.3.1 S. 135, 128 I 225 E. 2.5.3 S. 235). Es wird indessen ausdrücklich auf <ref-law> aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 29. September 2009 wird aufgehoben, soweit damit der Anspruch auf unentgeltliche Prozessführung (Befreiung von den Gerichtskosten) abgewiesen wurde. Im Übrigen wird die Beschwerde abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
3. Die reduzierten Gerichtskosten von Fr. 250.- werden dem Beschwerdeführer auferlegt, indessen vorläufig auf die Gerichtskasse genommen.
4. Der Kanton Zürich hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 1'000.- zu entschädigen.
5. Rechtsanwalt Viktor Györffy, Zürich, wird als unentgeltlicher Anwalt des Beschwerdeführers bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 1'000.- ausgerichtet.
6. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 17. März 2010
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Dormann