Sachverhalt:
A. Der 1960 geborene B._ war als Betonwerker bei der M._ AG tätig. Ab dem 25. November 2008 setzte er wegen starken Rückenschmerzen mit der Arbeit aus. Dr. med. R._, Facharzt für innere Medizin FMH, stellte auf Grund einer MRI-Untersuchung die Diagnose von lumbosacralen Schmerzen bei lumbosacraler Übergangsstörung mit bilateraler Hemisacralisation der Processi transversi LWK5 zu Massa lateralis des SWK1 bei schwer degenerativen Veränderungen der Nearthrose rechts mit höhergradiger Einengung ausserhalb des Foramen intervertebrale rechts mit Kompression auf die Nervenwurzel L5 extraforaminal. Am 11. Mai 2009 meldete sich B._ bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Aargau holte verschiedene medizinische Berichte der behandelnden Ärzte - unter anderem den Austrittsbericht über einen stationären Aufenthalt vom 10. Oktober bis 16. November 2009 an der Rehaklinik X._ - ein. Nach Durchführung des Vorbescheidverfahrens teilte sie dem Versicherten verfügungsweise mit, er könne seine bisherige Tätigkeit als Betonwerker seit November 2008 nicht mehr ausüben. Hingegen sei ihm in einer angepassten, körperlich leichten bis teilweise mittelschweren Tätigkeit ohne Zwangshaltung der Wirbelsäule ein volles Pensum zumutbar, was zu einem Invaliditätsgrad von 16 % führe. Er habe damit keinen Anspruch auf eine Invalidenrente (Verfügung vom 26. April 2010).
B. Das Versicherungsgericht des Kantons Aargau wies die dagegen erhobene Beschwerde, mit welcher die Zusprechung einer halben Invalidenrente bei einem Invaliditätsgrad von 58 %, eventuell die Durchführung weiterer Abklärungen, beantragt worden war, mit Entscheid vom 17. November 2010 ab.
C. B._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und die erstinstanzlich gestellten Anträge erneuern.
Die IV-Stelle schliesst auf Abweisung der Beschwerde, während das Bundesamt für Sozialversicherungen auf eine Stellungnahme verzichtet.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Gemäss <ref-law> legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>; vgl. auch <ref-law>).
2. Das kantonale Gericht hat die massgeblichen Rechtsgrundlagen zutreffend dargelegt. Es betrifft dies insbesondere die gesetzlichen Bestimmungen und von der Rechtsprechung entwickelten Grundsätze zum Begriff der Invalidität (<ref-law> in Verbindung mit <ref-law>) und Erwerbsunfähigkeit (<ref-law>), zu den Voraussetzungen und zum Umfang des Rentenanspruchs (<ref-law> [in der seit 1. Januar 2008 in Kraft stehenden Fassung]), zur Ermittlung des Invaliditätsgrades bei erwerbstätigen Versicherten nach der Einkommensvergleichsmethode (<ref-law>), zur Aufgabe des Arztes oder der Ärztin im Rahmen der Invaliditätsbemessung (<ref-ruling> E. 4 S. 99 f.) sowie zum Beweiswert und zur Würdigung ärztlicher Berichte und Gutachten (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352). Darauf - wie auch auf die Erwägungen zu dem im Sozialversicherungsrecht massgebenden Beweisgrad der überwiegenden Wahrscheinlichkeit (<ref-ruling> E. 1 S. 338; vgl. auch <ref-ruling> E. 3.1 S. 181 mit Hinweisen) - wird verwiesen.
3. Streitig und zu prüfen ist, ob der Beschwerdeführer Anspruch auf eine Invalidenrente hat.
3.1 IV-Stelle und kantonales Gericht nehmen gestützt auf einen Bericht des Dr. med. C._, Oberarzt Rheumaklinik am Kantonsspital Y._, visiert von Prof. Dr. med. H._, vom 8. September 2009 an, dem Beschwerdeführer sei ein volles Pensum in einer leidensangepassten Beschäftigung zumutbar. Es leuchte ein, dass die Fachärzte anhand der diagnostizierten Schmerzsyndrome zu diesem Schluss gekommen seien, da es sich bei einem "Syndrom" ausweislich der vom Gericht konsultierten Fachliteratur (PSCHYREMBEL, Klinisches Wörterbuch) um keinen greifbaren Gesundheitsschaden im Sinne einer Beeinträchtigung der körperlichen, geistigen oder psychischen Gesundheit handle, was grundsätzlich zur Folge habe, dass auch keine Arbeitsunfähigkeit vorliegen könne. Im Weiteren folgerte die Vorinstanz in Anwendung der Rechtsprechung über die invalidisierende Wirkung einer somatoformen Schmerzstörung (<ref-ruling>), selbst wenn man aufgrund der erhobenen degenerativen Veränderungen an der Wirbelsäule von einem Gesundheitsschaden ausginge, würden Schmerzsyndrome in der Regel zu keiner lang dauernden, zu einer Invalidität führenden Einschränkung der Arbeitsfähigkeit führen.
3.2 Der Beschwerdeführer wendet ein, der Bericht des Rheumatologen Dr. med. C._, auf welchen die Verwaltung und das kantonale Gericht abgestellt haben, sei in sich widersprüchlich, da der Arzt einerseits von einer vollen Arbeitsfähigkeit in einer leichten und mittelschweren Tätigkeit ausgehe und dem Patienten andererseits weitere Therapien - so auch einen stationären Aufenthalt in der Rehaklinik X._ - verordne, um seiner Arbeitsfähigkeit für leichte bis mittelschwere Tätigkeiten zu verbessern. Der am 30. November 2009 verfasste Austrittsbericht der Rehaklinik X._ zu Handen der Rheumaklinik des Kantonsspitals Y._ sei in deren Bericht vom 8. September 2009 naturgemäss nicht berücksichtigt worden. Die Diskrepanzen zwischen diesen Berichten sei nicht abgeklärt worden, weshalb die Vorinstanz Bundesrecht verletzt habe.
4. 4.1 Sowohl das Verwaltungsverfahren wie auch der kantonale Sozialversicherungsprozess sind vom Untersuchungsgrundsatz beherrscht (Art. 43 Abs. 1 und <ref-law>). Danach haben Verwaltung und Sozialversicherungsgericht den rechtserheblichen Sachverhalt von Amtes wegen festzustellen. Diese Untersuchungspflicht dauert so lange, bis über die für die Beurteilung des streitigen Anspruchs erforderlichen Tatsachen hinreichende Klarheit besteht. Der Untersuchungsgrundsatz weist enge Bezüge zum - auf Verwaltungs- und Gerichtsstufe geltenden - Grundsatz der freien Beweiswürdigung auf. Führen die im Rahmen des Untersuchungsgrundsatzes von Amtes wegen vorzunehmenden Abklärungen den Versicherungsträger oder das Gericht bei umfassender, sorgfältiger, objektiver und inhaltsbezogener Beweiswürdigung (<ref-ruling> E. 4.1 S. 400) zur Überzeugung, ein bestimmter Sachverhalt sei als überwiegend wahrscheinlich (<ref-ruling> E. 5b S. 360; <ref-ruling> E. 2 S. 195, je mit Hinweisen) zu betrachten und es könnten weitere Beweismassnahmen an diesem feststehenden Ergebnis nichts mehr ändern, so liegt im Verzicht auf die Abnahme weiterer Beweise keine Verletzung des Anspruchs auf rechtliches Gehör (antizipierte Beweiswürdigung; <ref-ruling> E. 5.3 S. 148; <ref-ruling> E. 4b S. 94). Bleiben jedoch erhebliche Zweifel an Vollständigkeit und/oder Richtigkeit der bisher getroffenen Tatsachenfeststellung bestehen, ist weiter zu ermitteln, soweit von zusätzlichen Abklärungsmassnahmen noch neue wesentliche Erkenntnisse zu erwarten sind (Urteil 9C_167/2009 vom 28. Mai 2009 E. 3.1).
4.2 Der Untersuchungsgrundsatz zählt zu den in <ref-law> erwähnten bundesrechtlichen Vorschriften. Die unvollständige (gerichtliche) Feststellung der rechtserheblichen Tatsachen (<ref-ruling> E. 2 S. 25 mit Hinweisen; ULRICH MEYER, in: Basler Kommentar, Bundesgerichtsgesetz, 2008, N. 25, 36 und 58-61 zu <ref-law>; HANSJÖRG SEILER, in: Bundesgerichtsgesetz [BGG], 2007, N. 24 zu <ref-law>), die Verletzung des Untersuchungsgrundsatzes als einer wesentlichen Verfahrensvorschrift (statt vieler: Urteil 9C_850/2008 vom 6. Februar 2009 E. 2.2 mit Hinweis; ULRICH MEYER, a.a.O., N. 60 zu <ref-law>; MARKUS SCHOTT, in: Basler Kommentar, Bundesgerichtsgesetz, 2008, N. 17 ff. zu <ref-law>) sowie die Pflicht zu inhaltsbezogener, umfassender, sorgfältiger und objektiver Beweiswürdigung (<ref-law>; <ref-ruling> E. 4.1 S. 400) stellen Rechtsverletzungen gemäss <ref-law> dar. Hat das kantonale Gericht die rechtserheblichen tatsächlichen Feststellungen in Verletzung des Untersuchungsgrundsatzes getroffen, sind sie für das Bundesgericht nicht verbindlich (Urteil 8C_773/2008 vom 11. Februar 2009 E. 5.4, in: SVR 2009 EL Nr. 5 S. 17).
5. 5.1 Beim Bericht der Rheumatologen des Kantonsspitals Y._ vom 8. September 2009 handelt es sich um Antworten in einem Standard-Fragebogen der Invalidenversicherung an behandelnde Ärzte. Es ist nicht ersichtlich, welche medizinischen Unterlagen den Berichtenden vorgelegen und welche Untersuchungen sie vorgenommen haben. Die attestierte volle Arbeitsfähigkeit für leichte bis mittelschwere Tätigkeiten ist nicht weiter begründet. Es werden die Diagnosen eines lumbospondylogenen Syndroms und eines Zervikobrachial-Syndroms links gestellt. Mit weiteren Arztberichten setzt sich Dr. med. C._ nicht auseinander. Er gibt an, der Patient nehme keine Medikamente, was im Widerspruch zur Darstellung der Ärzte der Rehaklinik X._ steht. Diese gehen im Austrittsbericht vom 30. November 2009 von einer 50%igen Arbeitsfähigkeit für eine leichte, wechselbelastende Tätigkeit aus. Auch sie begründen ihre Einschätzung nicht, attestieren ihrem Patienten aber eine gute Mitwirkung im Therapieprogramm, was sich auch in einer Verbesserung bezüglich Kraft und Ausdauer gezeigt habe.
5.2 Im angefochtenen Entscheid wird festgestellt, die von den Rheumatologen erwähnten "Syndrome" hätten keine organische Ursache, weshalb das kantonale Gericht davon auszugehen scheint, der Beschwerdeführer leide an einer somatoformen Schmerzstörung; in den vorliegenden Akten wird indessen von keinem Arzt ein psychiatrischer Befund auch nur in Erwägung gezogen und eine somatoforme Schmerzstörung wird nicht diagnostiziert. Kaum Beachtung findet dabei die sich aus den Akten ergebende Tatsache, dass am 9. Dezember 2008 mittels MRT an der Klinik A._ erhebliche degenerative Veränderungen unter anderem mit einer Wurzelkompression L5 extraforaminal sowie beginnenden und bereits bestehenden Chondrosen und Osteochondrosen auf verschiedenen Ebenen festgestellt wurden. Es handelt sich dabei um organische Befunde und - entgegen dem kantonalen Entscheid - nicht um ein "ätiologisch-pathogenetisch unklares syndromales Beschwerdebild".
5.3 Auch der Hinweis auf die Beurteilung durch den Orthopäden Dr. med Z._ vom Kantonsspital Y._ kann die Diskrepanz der Einschätzungen in den bereits erwähnten Berichten nicht klären, geht dieser Arzt doch offenbar von einer unrichtigen Anamnese aus. So steht im Bericht vom 17. März 2009, der Patient arbeite noch voll, obwohl dieser seine Tätigkeit seit dem 25. November 2008 nicht mehr aufgenommen hatte.
Im Weiteren widerspricht die Darstellung im angefochtenen Entscheid, auf die Einschätzung der behandelnden Ärzte der Rehaklinik X._ könne schon deshalb nicht abgestellt werden, weil diese über keinen Facharzttitel verfügten, dem Gebot der freien Beweiswürdigung. Indem das kantonale Gericht zudem unterstellt, es sei "vielmehr anzunehmen, dass die Ärzte der Rehaklinik X._ von einem bio-psycho-sozialen Krankheitsmodell ausgingen, wonach Soziogenität und pathogenetisch (ätiologisch) unklare subjektive Leidenszustände als Krankheitsursache anerkannt werden und die Ärzteschaft so begründete Arbeitsunfähigkeiten attestieren", ohne dass in Anwendung des Untersuchungsgrundsatzes diesbezüglich nähere Abklärungen getroffen worden oder im Austrittsbericht vom 30. November 2009 Hinweise zu finden wären, hat es Bundesrecht verletzt. Die auf Vermutung basierende Sachverhaltsfeststellung hat damit letztinstanzlich keinen Bestand.
5.4 Schliesslich kann auch die Stellungnahme des med. pract. W._ vom Regionalen Ärztlichen Dienst (RAD) der IV-Stelle nichts zur weiteren Klärung des Sachverhaltes beitragen.
Die Rechtsprechung hat sich zum Beweiswert eines RAD-Berichts verschiedentlich geäussert. Die Funktion interner RAD-Berichte besteht darin, aus medizinischer Sicht - gewissermassen als Hilfestellung für die medizinischen Laien in Verwaltung und Gerichten, welche in der Folge über den Leistungsanspruch zu entscheiden haben - den medizinischen Sachverhalt zusammenzufassen und zu würdigen, wozu namentlich auch gehört, bei widersprüchlichen medizinischen Akten eine Wertung vorzunehmen und zu beurteilen, ob auf die eine oder die andere Ansicht abzustellen oder aber eine zusätzliche Untersuchung vorzunehmen sei. Sie würdigen die vorhandenen Befunde aus medizinischer Sicht (SVR 2009 IV Nr. 50 S. 153, 8C_756/2008 E. 4.4; Urteil 9C_589/2010 vom 8. September 2010 E. 2).
Vorliegend hat der RAD-Arzt den Beschwerdeführer nicht selbst untersucht. Auch ihm lagen lediglich die kurzen Berichte aufgrund der Fragebögen der Invalidenversicherung und der Austrittsbericht vom 30. November 2009 vor. Nach der Feststellung, dass die Beurteilung der Rehaklinik X._ im Widerspruch zu derjenigen der Rheumatologen des Kantonsspitals Y._ steht, hält er ohne weitere Abklärung letztere für relevant, da "sie (die Rehaklinik) sich offensichtlich weit überwiegend auf die subjektiven Schmerzangaben des Versicherten stützt". Solches lässt sich dem Bericht indessen nicht entnehmen. Ebenso steht der vom RAD-Arzt gewonnene Eindruck im Widerspruch zu der in der Rehaklinik X._ gezeigten Leistung.
5.5 Entgegen der Darstellung des Beschwerdeführers genügt indessen auch der Austrittsbericht vom 30. November 2009 nicht, um seine Arbeitsfähigkeit abschliessend zu beurteilen. Die attestierte 50%ige Arbeitsunfähigkeit ist nicht begründet, sodass sie sich einer richterlichen Überprüfung entzieht.
5.6 Zusammenfassend ist festzustellen, dass die vorliegenden ärztlichen Stellungnahmen den praxisgemässen Anforderungen an eine beweiskräftige medizinische Grundlage nicht genügen (vgl. <ref-ruling> E. 5.1 S. 232 mit Hinweis). Der Entscheid basiert im Wesentlichen auf knapp gehaltenen und sich teilweise widersprechenden Berichten von behandelnden Ärzten. Bei der vorliegenden dürftigen Aktenlage kann nicht im Sinne antizipierter Beweiswürdigung gesagt werden, von einer zusätzlichen, nachvollziehbar und schlüssig begründeten medizinischen Beurteilung seien keine verwertbaren entscheidrelevanten Erkenntnisse zu erwarten (vgl. SVR 2009 UV Nr. 3 S. 9 E. 8.3, 8C_354/2007). Die Sache ist daher in Nachachtung des Untersuchungsgrundsatzes (E. 4. 1 hiervor) an die IV-Stelle zurückzuweisen. Die Verwaltung hat daher zusätzliche medizinische Abklärungsmassnahmen in Form eines polydisziplinären Gutachtens zu veranlassen und hernach gestützt auf die gewonnenen Erkenntnisse erneut über den Rentenanspruch zu verfügen.
6. Die Rückweisung der Sache an die Verwaltung zur erneuten Abklärung (mit noch offenem Ausgang) gilt für die Frage der Auferlegung der Gerichtskosten wie auch der Parteientschädigung als vollständiges Obsiegen im Sinne von Art. 66 Abs. 1 sowie Art. 68 Abs. 1 und 2 BGG, unabhängig davon, ob sie beantragt oder ob das entsprechende Begehren im Haupt- oder im Eventualantrag gestellt wird (<ref-ruling> E. 6.1 S. 235; Urteil 8C_101/2010 vom 3. Mai 2010 E. 6). Entsprechend dem Ausgang des Verfahrens sind die Gerichtskosten daher der unterliegenden Beschwerdegegnerin aufzuerlegen. Dem obsiegenden Beschwerdeführer steht eine angemessene Parteientschädigung zu.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen. Der Entscheid des Versicherungsgerichts des Kantons Aargau vom 17. November 2010 und die Verfügung der IV-Stelle des Kantons Aargau vom 26. April 2010 werden aufgehoben. Es wird die Sache an die IV-Stelle des Kantons Aargau zurückgewiesen, damit sie im Sinne der Erwägungen verfahre und über den Anspruch des Beschwerdeführers auf eine Invalidenrente neu verfüge.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Parteientschädigung und der Gerichtskosten des vorangegangenen Verfahrens an das Versicherungsgericht des Kantons Aargau zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 1. April 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung Schüpfer