Sachverhalt:
A. Der 1962 geborene V._ war zuletzt als Eisenleger der X._ GmbH erwerbstätig gewesen, als er sich am 1. Dezember 2006 unter Hinweis auf einen am 12. April 2006 erlittenen Unfall bei der IV-Stelle des Kantons Zürich zum Leistungsbezug anmeldete und eine Rente beantragte. Nach medizinischen Abklärungen und Durchführung des Vorbescheidverfahrens sprach die IV-Stelle dem Versicherten mit Verfügung vom 25. November 2010 ab 1. April 2007 eine Viertelsrente der Invalidenversicherung zu.
B. Die von V._ hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 23. November 2011 ab.
C. Mit Beschwerde beantragt V._, ihm sei unter Anpassung der Verfügung und des kantonalen Gerichtsentscheides eine halbe Rente der Invalidenversicherung zuzusprechen.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. <ref-ruling> E. 2.5 S. 262; <ref-ruling> E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (<ref-ruling> E. 1.4.1 S. 254).
1.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Die Beweiswürdigung durch das kantonale Gericht verletzt namentlich dann Bundesrecht, wenn es den Sinn und die Tragweite eines Beweismittels offensichtlich falsch eingeschätzt, ohne sachlichen Grund ein wichtiges und für den Ausgang des Verfahrens entscheidendes Beweismittel nicht beachtet oder aus den abgenommenen Beweisen unhaltbare Schlüsse gezogen hat (<ref-ruling> E. 2.1 S. 9; Urteil 8C_727/2009 vom 19. November 2009 E. 1.2).
2. 2.1 Der Anspruch auf Leistungen der Invalidenversicherung setzt unter anderem voraus, dass die versicherte Person invalid oder von Invalidität unmittelbar bedroht ist. Invalidität ist gemäss <ref-law> die voraussichtlich bleibende oder längere Zeit dauernde ganze oder teilweise Erwerbsunfähigkeit.
Für die Bestimmung des Invaliditätsgrades wird gemäss <ref-law> das Erwerbseinkommen, das die versicherte Person nach Eintritt der Invalidität und nach Durchführung der medizinischen Behandlung und allfälliger Eingliederungsmassnahmen durch eine ihr zumutbare Tätigkeit bei ausgeglichener Arbeitsmarktlage erzielen könnte (sog. Invalideneinkommen), in Beziehung gesetzt zum Erwerbseinkommen, das sie erzielen könnte, wenn sie nicht invalid geworden wäre (sog. Valideneinkommen).
2.2 Bei den vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person handelt es sich grundsätzlich um Entscheidungen über Tatfragen (<ref-ruling> E. 3.2 S. 397 ff.). Dagegen ist die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach <ref-law> Rechtsfrage (<ref-ruling> E. 3.2 und 4 S. 397 ff.; Urteil I 865/06 vom 12. Oktober 2007 E. 3.2).
2.3 Streitig und zu prüfen ist, ob die Vorinstanz Bundesrecht verletzte, als sie dem Beschwerdeführer keine höhere als eine Viertelsrente der Invalidenversicherung zusprach.
3. 3.1 Zur Ermittlung des Valideneinkommens ist entscheidend, was die versicherte Person im Zeitpunkt des frühest möglichen Rentenbeginns nach dem Beweisgrad der überwiegenden Wahrscheinlichkeit als Gesunde tatsächlich verdient hätte. Dabei wird in der Regel am zuletzt erzielten, nötigenfalls der Teuerung und der realen Einkommensentwicklung angepassten Verdienst angeknüpft, da es empirischer Erfahrung entspricht, dass die bisherige Tätigkeit ohne Gesundheitsschaden fortgesetzt worden wäre. Ausnahmen müssen mit überwiegender Wahrscheinlichkeit erstellt sein (<ref-ruling> E. 4.3.1 S. 224 mit Hinweisen). Auszugehen ist dabei vom Bruttogehalt. Die Vorinstanz hat erwogen, der Beschwerdeführer hätte sich nach eigenen Angaben im Jahre 2007 als Geschäftsführer seines eigenen Betriebes wie in den Vorjahren einen Bruttolohn von Fr. 7'000.- ausbezahlt, weshalb das Valideneinkommen auf Fr. 91'000.- zu bemessen sei. Was der Beschwerdeführer dagegen vorbringt, vermag diese Erwägung nicht als bundesrechtswidrig erscheinen zu lassen. Insbesondere ist nicht erheblich, dass die Beschwerdegegnerin in ihrer ursprünglichen Verfügung zunächst von einem höheren Einkommen ausgegangen ist.
3.2 Bezüglich des Invalideneinkommens ist unbestritten, dass der Versicherte seine bisherige Tätigkeit unfallbedingt nicht mehr ausüben kann, ihm eine angepasste Tätigkeit jedoch ohne zeitliche Einschränkungen möglich wäre. Die Vorinstanz hat erwogen, das Invalideneinkommen sei daher aufgrund der Tabellenlöhne der Schweizerischen Lohnstrukturerhebung (LSE) zu bestimmen. Auszugehen sei vom Zentralwert für die mit einfachen und repetitiven Aufgaben beschäftigten Männer. Aufgrund der verbleibenden eingeschränkten Gebrauchsmöglichkeiten der linken Hand auch in leichten Hilfsarbeitertätigkeiten rechtfertige es sich zudem, vom Tabellenlohn einen Abzug im Sinne von <ref-ruling> E. 5b/cc S. 80 in der Höhe von 20 % vorzunehmen. Der Beschwerdeführer betrachtet sich seinerseits als funktionell Einarmiger. Als solcher fielen für ihn jegliche Erwerbsmöglichkeiten in produktionsnahen Betrieben ausser Betracht; es seien daher nur einfache und repetitive Tätigkeiten im Dienstleistungssektor zu berücksichtigen. Zudem sei der Abzug vom Tabellenlohn auf den maximal zulässigen Wert von 25 % zu erhöhen.
Ob die Vorinstanz bei ihrer Feststellung, der Beschwerdeführer sei nicht funktionell einarmig, in Willkür verfallen ist, kann offenbleiben. Die Gerichtspraxis geht davon aus, dass der ausgeglichene Arbeitsmarkt für Personen, welche funktionell als Einarmige zu betrachten sind und überdies nur noch leichte Arbeiten verrichten können, genügend realistische Betätigungsmöglichkeiten bietet. Zu denken ist etwa an einfache Überwachungs-, Prüf- und Kontrolltätigkeiten sowie an die Bedienung und Überwachung von (halb-) automatischen Maschinen oder Produktionseinheiten, die nicht den Einsatz beider Arme und beider Hände voraussetzen (vgl. Urteile 8C_207/2009 vom 8. September 2009 E. 3.2 und 8C_635/2007 vom 27. August 2008 E. 4.2 mit Hinweisen). Solche Arbeitsstellen bestehen auch in produktionsnahen Betrieben, weshalb sich eine Einschränkung des in Betracht zu ziehenden Arbeitsmarktes auf den Dienstleistungssektor nicht aufdrängt. Entgegen den Darlegungen des Beschwerdeführers wäre zudem auch bei einem funktionell Einarmigen der Abzug vom Tabellenlohn nicht zwingend auf 25 % zu erhöhen (vgl. Urteil 9C_418/2008 vom 17. September 2008 E. 3.3). Da die Frage nach der Höhe des Abzuges nach bundesgerichtlicher Rechtsprechung eine Ermessensfrage darstellt, deren Beantwortung einer bundesgerichtlichen Korrektur nur mehr dort zugänglich ist, wo das kantonale Gericht das Ermessen rechtsfehlerhaft ausgeübt hat (<ref-ruling> E. 3.3 S. 399), müsste es selbst dann, wenn der Beschwerdeführer als Einarmiger anerkannt würde, beim vorinstanzlichen Abzug sein Bewenden haben.
3.3 Ist somit weder das Validen- noch das Invalideneinkommen bundesrechtswidrig festgesetzt worden, so ist die Beschwerde des Versicherten abzuweisen.
4. Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der Ausgleichskasse des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 29. März 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Der Gerichtsschreiber: Holzer