Sachverhalt:
A. Der 1960 geborene H._ meldete sich am 31. Mai 2007 zum Leistungsbezug bei der Invalidenversicherung an (berufliche Massnahmen/Invalidenrente). Nach Durchführung erwerblicher und medizinischer Abklärungen, namentlich unter Berücksichtigung der Ergebnisse des polydisziplinären Gutachtens der Medizinischen Abklärungsstelle (MEDAS) vom 10. Januar 2008, verneinte die IV-Stelle des Kantons Zürich mit Verfügung vom 31. Juli 2008 einen Leistungsanspruch (Invaliditätsgrad von 31 %).
B. Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich ab (Entscheid vom 12. Februar 2010).
C. H._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, es sei ab 29. September 2006 eine Viertelsrente der Invalidenversicherung zuzusprechen.
Die IV-Stelle beantragt die Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen (BSV) liess sich nicht vernehmen.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 1 und 2 BGG).
2. Die Vorinstanz legte zutreffend die Bestimmungen über den Begriff der Invalidität (<ref-law>) und die Bemessung des Invaliditätsgrades bei erwerbstätigen Versicherten nach der allgemeinen Methode des Einkommensvergleichs (<ref-law>) dar. Richtig sind auch die Erwägungen zum Umfang des Rentenanspruchs (<ref-law> in der bis zum 31. Dezember 2007 gültigen Fassung und <ref-law> in Kraft ab 1. Januar 2008) und der Hinweis auf die zum Valideneinkommen ergangene Rechtsprechung, wonach dasjenige Einkommen massgeblich ist, welches die versicherte Person im Zeitpunkt des frühest möglichen Rentenbeginns nach dem Beweisgrad der überwiegenden Wahrscheinlichkeit als Gesunde tatsächlich verdient hätte (<ref-ruling> E. 4.1 S. 325). Darauf ist zu verweisen.
3. Streitig und zu prüfen ist der Anspruch auf eine Invalidenrente.
3.1 Das vorinstanzliche Gericht stellte den Validenlohn gestützt auf die Angaben der Bauunternehmung X._ AG vom 10. Mai 2006 fest (Fragebogen für den Arbeitgeber), wonach der Beschwerdeführer als Baufacharbeiter bei einer Wochenarbeitszeit von 40,5 Stunden ab 1. Februar 2006 einen Stundenlohn von Fr. 28.65 erzielt hätte, wäre er nicht invalid geworden, was einem Jahreslohn von Fr. 60'337.- entspreche (2'112 Stunden als jährliche Arbeitszeit). Dagegen wendet der Beschwerdeführer ein, bereits 2003 ein Einkommen von Fr. 62'946.75 und im Jahr 2005 in neun Monaten Fr. 48'458.95 (inklusive 13. Monatslohn) verdient zu haben, was den Jahreslohn von Fr. 64'611.90 ergebe. Dieser Betrag sei um den Faktor der Lohnentwicklung von 1.012 für das Jahr 2006 aufzurechnen, woraus ein Valideneinkommen von Fr. 65'387.25 resultiere.
3.2 Letztinstanzlich nicht zu beanstanden ist der im angefochtenen Entscheid festgestellte Stundenlohn von Fr. 28.65 sowie die Jahresstundenzahl von 2'112 (Art. 97 Abs. 1 und <ref-law>). Allerdings ist mit der Berücksichtigung einer Jahresarbeitszeit von 2'112 Stunden zwar die Ferienentschädigung abgegolten, nicht jedoch der 13. Monatslohn. Der Arbeitgeber gab demgegenüber etwa in der Rückfallmeldung vom 17. Februar 2006 der SUVA einen Grundlohn von Fr. 28.05 je Stunde an, wobei die Ferien/Feiertagsentschädigung (+ 10,6 %) sowie der 13. Monatslohn (+ 8,3 %) als darin nicht enthalten zusätzlich erwähnt werden. Bereits in der Unfallmeldung vom 29. November 2000 wies die Arbeitgeberfirma einen 13. Monatslohn aus. Sodann gelangte gemäss Fragebogen für den Arbeitgeber vom 10. Mai 2006 in den Jahren 2003 bis 2005 ein 13. Monatslohn zur Auszahlung. Zu berücksichtigen sind darüber hinaus Art. 49 und 50 des Landesmantelvertrages für das Schweizerische Bauhauptgewerbe 2006-2008 (LMV 2006 vom 26. Mai 2005). Laut <ref-law> haben die Arbeitnehmer ab Anstellungsbeginn im Betrieb Anspruch auf den 13. Monatslohn. Hat das Arbeitsverhältnis kein ganzes Kalenderjahr gedauert, so besteht ein pro-rata-Anspruch. Gemäss <ref-law> werden den im Stundenlohn beschäftigten Arbeitnehmenden am Jahresende 8,3 % des im betreffenden Kalenderjahr bezogenen massgebenden Lohnes zusätzlich vergütet, falls ein Arbeitsverhältnis während des ganzen Kalenderjahres gedauert hat. Als Beschäftigter im Bauhauptgewerbe hätte der Versicherte demzufolge im Jahr 2006 einen Rechtsanspruch auf den 13. Monatslohn gehabt, welcher ihm im Übrigen bis zur Niederlegung der Arbeit am 30. September 2005 - wie gezeigt - gewährt worden ist. Der von Verwaltung und kantonalem Gericht ermittelte Validenlohn von Fr. 60'337.- berücksichtigt diesen Anspruch nicht, womit dieser offensichtlich unrichtig festgestellt ist (<ref-law>).
3.3 Hieran ändert der Hinweis im angefochtenen Entscheid auf Lohnschwankungen nichts (vgl. aktenkundige IK-Auszüge). Denn das kantonale Gericht hat ungeachtet derselben das Valideneinkommen nicht nach Massgabe der IK-Auszüge, sondern anhand der Lohnangaben des ehemaligen Arbeitgebers ermittelt. Aus dem vorinstanzlichen Entscheid geht zudem nicht hervor, dass Verwaltung oder kantonales Gericht die IK-Auszüge als Indiz für fehlerhafte Angaben des Arbeitgebers gewertet hätten. Davon abgesehen war der Beschwerdeführer wegen Krankheit und Unfällen immer wieder arbeitsunfähig, was jedenfalls zum Teil die Unterschiede zwischen tatsächlich ausbezahlten und bei voller Arbeitsfähigkeit erzielbaren Löhnen erklärt. Daher war der IK-Auszug nicht geeignete Grundlage für die Ermittlung des Validenlohnes. Darüber hinaus werden die Einkommen gemäss IK oftmals bei Selbstständigerwerbenden zur Ermittlung des Validenlohnes verwendet (Urteil 8C_515/2008 vom 23. März 2009 E. 4.1; vgl. auch <ref-law>), wogegen bei unselbstständig Beschäftigten mit unklaren Einkommensverhältnissen eher die Schweizerischen Lohnstrukturerhebungen des Bundesamtes für Statistik herangezogen werden (Urteil 9C_266/2008 vom 28. August 2008 E. 3.2.2). Der angefochtene Entscheid enthält keine Feststellungen, die den Schluss erlaubten, die Lohnverhältnisse seien hier in einem Mass unregelmässig, dass ein Abstellen auf die Angaben der Arbeitgeberfirma zu keinem schlüssigen Validenlohn führte. Nach dem Gesagten bindet das vorinstanzlich festgestellte Valideneinkommen das Bundesgericht nicht (<ref-law>). Ausgehend von einem Jahreslohn von Fr. 60'337.- und unter Anrechnung eines 13. Monatslohnes (+ 8,3 % von Fr. 60'337.-) beträgt dieses vielmehr Fr. 65'345.-.
4. 4.1 Unter Berücksichtigung des vorinstanzlich festgestellten Invalidenlohns von Fr. 37'294.- und dem Valideneinkommen von Fr. 65'345.- (vgl. E. 3.3 hievor) resultiert ein Invaliditätsgrad von 43 %, wobei selbst ein Stundenlohn von Fr. 28.05 (Jahreslohn: Fr. 64'158.65) einen Invaliditätsgrad von 42 % ergäbe (vgl. E. 3.2 hievor). Gestützt auf <ref-law> (gültig bis 31. Dezember 2007) bestünde auf der Grundlage der genannten Vergleichseinkommen grundsätzlich Anspruch auf eine Viertelsrente der Invalidenversicherung.
Zwar stellte das kantonale Gericht den Invalidenlohn nach Massgabe der Zumutbarkeitseinschätzung der Expertise der MEDAS vom 10. Januar 2008 fest, welche den Versicherten in einer leichten bis mittelschweren Tätigkeit für 70 % arbeitsfähig erklärt. Nichtsdestotrotz liess die Vorinstanz die Schlüssigkeit des Zumutbarkeitsprofils wegen des rentenausschliessenden Invaliditätsgrades im Ergebnis offen. Sie erwog, mit Blick auf die lediglich teilweise objektivierbare somatische Befundlage und die wenig erheblichen psychischen Diagnosen (leichtgradige rezidivierende depressive Störung und Symptomausweitung) sei eine Leistungseinbusse von 30 % gemäss Expertise der MEDAS in einer leidensangepassten Tätigkeit nicht ohne weiteres nachvollziehbar. Der angefochtene Entscheid befasst sich somit nicht mit der sich nunmehr stellenden Frage, ob bei einem Invaliditätsgrad von zumindest 40 % aufgrund der Leistungseinschätzung der MEDAS auf das Gutachten vom 10. Januar 2008 abzustellen ist. Der rechtserhebliche Sachverhalt ist folglich unvollständig festgestellt (<ref-law>).
4.2 Das Bundesgericht kann den Sachverhalt gestützt auf <ref-law> grundsätzlich ergänzen, falls die Sachverhaltsfeststellung der Vorinstanz offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht. Daraus folgt indes nicht, dass jede Lücke im Sachverhalt durch das Bundesgericht zu schliessen ist (<ref-ruling> E. 3.4.2 S. 295). In der hier zu beurteilenden Sache lässt sich das vorinstanzlich offen gelassene Zumutbarkeitsprofil nicht ohne weiteres aus den Akten herleiten, zumal das kantonale Gericht jedenfalls Zweifel an der Beweiskraft des Gutachtens der MEDAS vom 10. Januar 2008 mit Bezug auf die Leistungseinschätzung geäussert hat (NICOLAS VON WERDT, Bundesgerichtsgesetz [BGG], 2007, N. 3 zu <ref-law>; BERNARD CORBOZ, Commentaire de la LTF, 2009, N. 63 zu <ref-law>). Da sich die Parteien letztinstanzlich sodann nicht zur Frage der Restarbeitsfähigkeit vernehmen liessen, und es sich nicht um eine von Amtes wegen vorzunehmende nebensächliche Sachverhaltsergänzung handelt (vgl. BERNARD CORBOZ, a.a.O., N. 62 zu <ref-law>), ist die Sache zur Feststellung der zumutbaren Leistungsfähigkeit an das kantonale Gericht zurückzuweisen.
5. Dem Prozessausgang entsprechend sind die Gerichtskosten den Parteien anteilsmässig aufzuerlegen (<ref-law>). Die IV-Stelle hat dem Beschwerdeführer überdies eine Parteientschädigung zu bezahlen (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 12. Februar 2010 wird aufgehoben. Die Sache wird an die Vorinstanz zurückgewiesen, damit sie, nach ergänzter Sachverhaltsfeststellung im Sinne der Erwägungen, über die Beschwerde neu entscheide.
2. Von den Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin Fr. 300.- und dem Beschwerdeführer Fr. 200.- auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 1'700.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Sozialversicherungsgericht des Kantons Zürich zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 13. Oktober 2010
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Der Gerichtsschreiber:
Borella Ettlin