Sachverhalt:
A. Der 1950 geborene V._ meldete sich am 16. August 2005 unter Hinweis auf die Folgen eines 1990 erlittenen Unfalles sowie diverser krankheitsbedingter Behinderungen bei der IV-Stelle des Kantons Solothurn zum Leistungsbezug an und beantragte ein Rente. Die IV-Stelle zog die Akten der Schweizerischen Unfallversicherungsanstalt (SUVA) bei; gemäss der Verfügung der SUVA vom 4. September 2006 wurde dem Versicherten nebst einer Integritätsentschädigung ab dem 1. Juli 2006 eine Invalidenrente der Unfallversicherung bei einem Invaliditätsgrad von 25 % zugesprochen. Nach weiteren medizinischen Abklärungen und Durchführung des Vorbescheidsverfahrens sprach die IV-Stelle V._ mit Verfügung vom 26. November 2007 ab dem 1. Oktober 2006 eine Viertelsrente und ab 1. Januar 2007 eine halbe Rente zu.
B. Die von V._ hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 12. Oktober 2009 ab.
C. Mit Beschwerde beantragt V._, ihm sei unter Aufhebung der Verfügung und des kantonalen Gerichtsentscheides bereits ab 1. April 2005 eine halbe Rente der Invalidenversicherung zuzusprechen.
Die IV-Stelle und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. <ref-ruling> E. 2.5 S. 262; <ref-ruling> E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (<ref-ruling> E. 1.4.1 S. 254).
1.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Die Beweiswürdigung durch das kantonale Gericht verletzt namentlich dann Bundesrecht, wenn es den Sinn und die Tragweite eines Beweismittels offensichtlich falsch eingeschätzt, ohne sachlichen Grund ein wichtiges und für den Ausgang des Verfahrens entscheidendes Beweismittel nicht beachtet oder aus den abgenommenen Beweisen unhaltbare Schlüsse gezogen hat (<ref-ruling> E. 2.1 S. 9; Urteil 8C_727/2009 vom 19. November 2009 E. 1.2).
2. Streitig und zu prüfen ist, ob die Vorinstanz Bundesrecht verletzte, indem sie dem Versicherten nicht bereits ab dem 1. April 2005 eine halbe Rente der Invalidenversicherung zusprach.
3. 3.1 Das kantonale Gericht hat in Würdigung der medizinischen Akten für das Bundesgericht grundsätzlich verbindlich festgestellt, vor dem 3. März 2006 sei die Erwerbsfähigkeit des Versicherten ausschliesslich durch die von der SUVA als Rückfall anerkannten Folgen des Unfalles im Jahre 1990 eingeschränkt gewesen. In seiner bisherigen Tätigkeit als Taxichauffeur sei er bestmöglich eingegliedert. Die unfallbedingte Einschränkung in der Erwerbsfähigkeit betrage 25 %. Ab dem 3. März 2006 sei der Versicherte zusätzlich aufgrund von Durchfällen eingeschränkt, die Einschränkung in der Erwerbsfähigkeit betrage ab diesem Datum insgesamt 50 %. Der Beschwerdeführer macht demgegenüber geltend, diese Sachverhaltsfeststellung verstosse gegen Bundesrecht, da die Vorinstanz zu Unrecht von einer Bindungswirkung der Verfügung im Unfallversicherungsverfahren ausgegangen und der Stellungnahme des Regionalen Ärztlichen Dienstes (RAD) vom 5. Januar 2006 zu Unrecht Beweiswert zuerkannt habe. Zudem habe das kantonale Gericht aus dem Bericht des Dr. med. S._, Urologische Klinik X._, vom 9. Februar 2005 unhaltbare Schlüsse gezogen. Er sei bereits vor März 2006 aufgrund von unfallkausalen und unfallfremden Leiden zu 50 % in der Arbeitsfähigkeit eingeschränkt gewesen, so dass ihm bereits ab April 2005 eine halbe IV-Rente zustehe.
3.2 Entgegen den Ausführungen des Beschwerdeführers stützte die Vorinstanz ihre Feststellung, die Ausscheidungsproblematik aufgrund der Ödeme habe keine Auswirkungen auf die Arbeitsfähigkeit des Versicherten gehabt, ausdrücklich nicht auf die Stellungnahme des RAD-Arztes Dr. med. Z._ vom 5. Januar 2006. Sie führte vielmehr gestützt auf den Bericht des Dr. med. S._ vom 9. Februar 2005 aus, die IV-Stelle habe willkürfrei vom Fehlen solcher Auswirkungen ausgehen können. Hiezu ist zunächst festzuhalten, dass gemäss <ref-law> das kantonale Versicherungsgericht unter Mitwirkung der Parteien die für den Entscheid erheblichen Tatsachen feststellt; es erhebt die notwendigen Beweise und ist in der Beweiswürdigung frei. Demnach hat das kantonale Gericht bereits dadurch gegen Bundesrecht verstossen, dass es seine Kognition ATSG-widrig auf eine Willkürkognition verkürzte (vgl. Urteil 8C_642/2008 vom 26. November 2008 mit weiteren Hinweisen). Zudem schätzte die Vorinstanz Sinn und Tragweite des Berichts des Dr. med. S._ offensichtlich falsch ein: Der Versicherte war bei diesem Arzt in Behandlung wegen eines Verdachtes auf eine retroperitoneale Fibrose, mithin eines Harnleiterproblems. Das Lymphödem im Penis wird vom Urologen nicht erwähnt; es ist daher davon auszugehen, dass sich der Spezialist mit diesem nicht befasst hat. Zur Behandlung wurde dem Versicherten eine JJ-Einlage mit Kortison-Therapie durchgeführt. Nach Entfernung der Einlage war der Beschwerdeführer im Januar gemäss dem Bericht des Dr. med. S._ beschwerdefrei. Es ist allseitig - auch vom kantonalen Gericht - anerkannt, dass der Beschwerdeführer im Januar 2005 nicht beschwerdefrei im Sinne von vollständig gesund war, war er doch unbestrittenermassen durch die unfallkausalen Folgen der Unterschenkelfraktur in seiner Arbeitsfähigkeit eingeschränkt. Dies spricht dafür, dass sich die "Beschwerdefreiheit" auf das urologische Problem beschränkte, zu dessen Behandlung der Versicherte den Spezialisten aufgesucht hatte, mithin der wahrscheinlich durch eine retroperitoneale Fibrose ausgelösten obstruktiven Uropathie. Somit steht der Bericht des Urologen nicht im Widerspruch zu jenem des SUVA-Arztes Dr. med. W._ vom 2. August 2005 worin der Kreisarzt festhielt, das unfallfremde Lymphödem (und nicht die unfallfremde Harnleiterproblematik) erlaube nur halbtägige Einsätze wegen der Ausscheidungsfunktion.
3.3 Ein abschliessende Würdigung des erheblichen Sachverhaltes ist vorliegend auch unter Berücksichtigung des Berichts des RAD-Arztes Dr. med. Z._ vom 5. Januar 2006 nicht möglich. Dieser geht davon aus, dass die Arbeitsfähigkeit des Versicherten nicht durch ein unfallfremdes Leiden und damit insbesondere nicht durch die Ausscheideproblematik eingeschränkt war. Ein Abstellen auf die Berichte versicherungsinterner medizinischer Fachpersonen wäre nur dann möglich, wenn auch nicht geringe Zweifel an der Zuverlässigkeit und Schlüssigkeit der ärztlichen Schlussfolgerungen bestehen würden (BGE 8C_216/2009 E. 4.7). Solche Zweifel bestehen vorliegend nicht bloss aufgrund der ausführlichen Berichte des Hausarztes Dr. med. R._, sondern auch aufgrund der Schlussfolgerungen des SUVA-Arztes Dr. med. W._. Die Beschwerde ist demnach gutzuheissen, die Verfügung der IV-Stelle und der kantonale Entscheid sind aufzuheben und die Sache ist an die Beschwerdegegnerin zurückzuweisen, damit diese mittels einer umfassenden interdisziplinären Begutachtung abkläre, ab welchem Zeitpunkt und in welchem Umfang der Beschwerdeführer in seiner Arbeitsfähigkeit eingeschränkt war. Dabei werden sich die Gutachter nicht auf die Frage zu beschränken haben, ob und allenfalls in welchem Umfang sich das Lymphödem auf die Arbeitsfähigkeit auswirkt, sondern eine gesamthafte Ein-schätzung unter Einbezug sämtlicher unfallkausaler und unfallfremder gesundheitlicher Leiden abzugeben haben. Anschliessend wird die Beschwerdegegnerin über den Rentenanspruch des Versicherten neu zu verfügen haben.
4. Das Verfahren ist kostenpflichtig (<ref-law>). Als unterliegende Partei hat die Beschwerdegegnerin die Gerichtskosten zu tragen (<ref-law>). Diese hat dem Beschwerdeführer überdies eine Parteientschädigung zu entrichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird in dem Sinne gutgeheissen, dass der Entscheid des Versicherungsgerichts des Kantons Solothurn vom 12. Oktober 2009 und die Verfügung der IV-Stelle des Kantons Solothurn vom 26. November 2007 aufgehoben werden und die Sache an die IV-Stelle des Kantons Solothurn zurückgewiesen wird, damit sie, nach erfolgter Abklärung im Sinne der Erwägungen, über den Rentenanspruch neu verfüge.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Versicherungsgericht des Kantons Solothurn zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 18. März 2010
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Holzer