Sachverhalt:
A. Mit Verfügung vom 17. April 2012 verneinte die IV-Stelle Bern einen Anspruch des V._ (geboren 1963) auf eine Invalidenrente nach Ermittlung eines Invaliditätsgrades von 9 %.
B. Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 9. August 2012 ab unter Gewährung der unentgeltlichen Rechtspflege.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt V._ beantragen, in Aufhebung des vorinstanzlichen Entscheides und der Verwaltungsverfügung sei ihm die ihm rechtlich zustehende IV-Rente ab frühestmöglichem Zeitpunkt zuzusprechen. Eventuell sei die IV-Stelle anzuweisen, die erforderlichen Abklärungen vorzunehmen und ein ergänzendes medizinisches Gutachten betreffend tatsächliche Arbeitsfähigkeit einzuholen. Ferner beantragt er die unentgeltliche Prozessführung und Verbeiständung.
Erwägungen:
1. 1.1 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz auf Rüge hin oder von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht, und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 105 Abs. 2 BGG und Art. 97 Abs. 1 BGG). Das Vorliegen dieser Voraussetzungen hat die Beschwerde führende Person genau darzulegen. Dazu genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten oder die eigene Beweiswürdigung zu erläutern (BGE 137 II 353 E. 5.1 S. 356; SVR 2012 BVG Nr. 11 S. 44, 9C_779/2010 E. 1.1.2 [nicht publ. in: BGE 137 V 446]).
1.2 Eine Sachverhaltsfeststellung ist nicht schon dann offensichtlich unrichtig, wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend ist (BGE 132 I 42 E. 3.1 S. 44). Es liegt noch keine offensichtliche Unrichtigkeit vor, nur weil eine andere Lösung ebenfalls in Betracht fällt, selbst wenn diese als die plausiblere erschiene (vgl. BGE 129 I 8 E. 2.1 S. 9; Urteil 9C_967/2008 vom 5. Januar 2009 E. 5.1). Diese Grundsätze gelten auch in Bezug auf die konkrete Beweiswürdigung (Urteile 9C_999/2010 vom 14. Februar 2011 E. 1 und 9C_735/2010 vom 21. Oktober 2010 E. 3; SVR 2012 BVG Nr. 11 S. 44, 9C_779/2010 E. 1.1.1).
1.3 Dem Sachgericht steht im Bereich der Beweiswürdigung ein erheblicher Ermessensspielraum zu (BGE 120 Ia 31 E. 4b). Das Bundesgericht greift auf Beschwerde hin nur ein, wenn das Sachgericht diesen missbraucht, insbesondere offensichtlich unhaltbare Schlüsse zieht, erhebliche Beweise übersieht oder solche willkürlich ausser Acht lässt (BGE 132 III 209 E. 2.1; zum Begriff der Willkür BGE 137 I 1 E. 2.4 mit Hinweisen). Inwiefern das kantonale Gericht sein Ermessen missbraucht haben soll, ist in der Beschwerde klar und detailliert aufzuzeigen (BGE 130 I 258 E. 1.3). Auf ungenügend begründete Rügen oder bloss allgemein gehaltene appellatorische Kritik am angefochtenen Entscheid tritt das Bundesgericht nicht ein (BGE 134 II 244 E. 2.2 mit Hinweis).
1.4 Einem ärztlichen Bericht kommt Beweiswert zu, wenn er für die streitigen Belange umfassend ist, auf allseitigen Untersuchungen beruht, auch die geklagten Beschwerden berücksichtigt und in Kenntnis der Vorakten (Anamnese) abgegeben worden ist, wenn die Beschreibung der medizinischen Situation und Zusammenhänge einleuchtet und die Schlussfolgerungen begründet sind (BGE 125 V 351 E. 3a S. 352). Der Arzt muss über die notwendigen fachlichen Qualifikationen verfügen (Urteil 9C_736/2009 vom 26. Januar 2010 E. 2.1). Untersuchungsberichte regionaler ärztlicher Dienste können, sofern sie diesen Anforderungen genügen, einen vergleichbaren Beweiswert wie ein Gutachten haben (Art. 49 Abs. 2 IVV; BGE 137 V 210 E. 1.2.1 S. 219; 135 V 254 E. 3.3.2 S. 257; Urteil 9C_999/2010 vom 14. Februar 2011 E. 5.1.2). Auch reine Aktengutachten können beweiskräftig sein, sofern ein lückenloser Befund vorliegt und es im Wesentlichen nur um die fachärztliche Beurteilung eines an sich feststehenden medizinischen Sachverhalts geht, mithin die direkte ärztliche Befassung mit der versicherten Person in den Hintergrund rückt (SVR 2010 IV Nr. 46 S. 143, 9C_1063/2009 E. 4.2.1; Urteil 8C_119/2012 vom 30. März 2012 E. 4 mit Hinweis). Dies gilt grundsätzlich auch in Bezug auf Berichte und Stellungnahmen regionaler ärztlicher Dienste (SVR 2011 IV Nr. 2 S. 7, 9C_904/2009 E. 2.2 mit Hinweisen).
2. 2.1 Das kantonale Gericht stellte in Würdigung der medizinischen Akten, insbesondere gestützt auf die Einschätzung des RAD-Arztes Dr. med. A._ vom 19. Januar 2012 fest, dass der Beschwerdeführer in einer angepassten Tätigkeit zu 100 % arbeitsfähig sei. Dem Beschwerdeführer sei es im Rahmen der Schadenminderungspflicht nach Art. 7 Abs. 1 IVG zumutbar, die von Dr. med. A._ erwähnte Dekonditionierung mit einem entsprechenden Training zu überwinden. Medizinische Gründe für die geklagten Rückenbeschwerden seien den Akten nicht zu entnehmen. Da eine Wirbelsäulenproblematik fehle, könne der Beschwerdeführer eine sitzende Tätigkeit ohne weiteres ausüben. Es bestehe kein Anlass für weitere Abklärungen. Die Ergebnisse der arbeitsmarktlich-medizinischen Abklärungen änderten am Ergebnis nichts. Dass der Beschwerdeführer nur eine geringe Leistung erbracht habe, könne nicht auf gesundheitliche Gründe zurückgeführt werden. Er fühle sich, im Widerspruch zur medizinischen Befundlage, nicht arbeitsfähig und habe die an ihn gestellten Aufgaben jeweils rasch wieder abgebrochen. Ausgehend von einer vollen Arbeitsfähigkeit in einer leidensangepassten Tätigkeit und gestützt auf die Tabellenlöhne unter Berücksichtigung eines Abzuges von 10 % ermittelte das kantonale Gericht einen Invaliditätsgrad von 10 %.
2.2 Im Lichte der eingangs erwähnten Beweisregeln und Grundsätze zur Beweiswürdigung ist die vorinstanzliche Sachverhaltsfeststellung und die entsprechende Beweiswürdigung nicht mangelhaft im Sinne von Art. 97 Abs. 1 BGG. Namentlich hat das kantonale Gericht eingehend begründet, weshalb es den Bericht des RAD-Arztes für schlüssig und beweiskräftig hält und weshalb der Beschwerdeführer aus der arbeitsmarktlich-medizinischen Abklärung nichts zu seinen Gunsten ableiten kann. Die entsprechenden Feststellungen und Schlussfolgerungen sind nach der Aktenlage nicht offensichtlich unrichtig, noch ist darin eine unvollständige Sachverhaltsfeststellung oder eine willkürliche Beweiswürdigung zu erblicken. Dies trifft namentlich auch auf die Feststellung des kantonalen Gerichts zu, die geringe Leistung des Beschwerdeführers in der AMA sei nicht auf gesundheitliche Gründe zurückzuführen und die gemessene Leistung entspreche nicht dem effektiv Möglichen.
2.3 Der Beschwerdeführer legt nicht in rechtsgenüglicher Weise dar (vgl. E. 1.3 hievor), inwiefern die vorinstanzliche Beweiswürdigung willkürlich oder sonst wie Bundesrecht verletzen sollte. Fehl geht der Einwand, Dr. med. K._ erachte im Bericht vom 15. November 2011 sitzende Tätigkeiten für nicht zumutbar und wechselbelastende Tätigkeiten nur im Umfang von 20 - 30 %, weshalb die vorinstanzlichen Ausführungen schlichtweg falsch seien. Das kantonale Gericht hat in E. 3.1.2 den Bericht und die Einschätzung des Dr. med. K._ vom 15. November 2011 richtig wieder gegeben. Es hat daraus und aus den übrigen medizinischen Unterlagen den Schluss gezogen, dem Beschwerdeführer sei mit Bezug auf die Knieprobleme eine sitzende Tätigkeit zumutbar und Dr. med. K._ gebe die Rückenbeschwerden als Grund an, dass er den Beschwerdeführer auch für eine sitzende Tätigkeit nicht für arbeitsfähig halte. Inwiefern diese Differenzierung hinsichtlich der Auswirkung der unterschiedlichen Leiden auf die Arbeitsfähigkeit offensichtlich unrichtig sein soll, wird indessen nicht dargelegt. Vielmehr hat das kantonale Gericht aufgrund des richtig festgestellten Sachverhalts eine willkürfreie Beweiswürdigung vorgenommen. Dies gilt namentlich auch hinsichtlich der zumutbaren Überwindung der Rückenbeschwerden. Schliesslich macht der Beschwerdeführer auch zu Unrecht geltend, die Vorinstanz verkenne, dass sich der Beschwerdeführer aufgrund der medizinischen Gegebenheiten (Schmerzen etc.) laufend in medizinischer Behandlung befinde. Dies ist dem kantonalen Gericht indessen nicht entgangen, sondern es hat lediglich festgestellt, dass gegenwärtig die organischen Ursachen der geltend gemachten Rückenprobleme nicht abgeklärt würden und kein Anlass für weitere Abklärungen bestünden. Inwiefern es damit den Untersuchungsgrundsatz verletzt haben sollte, wird nicht näher substantiiert.
2.4 Die konkrete Invaliditätsbemessung durch Einkommensvergleich ist nicht angefochten. Es besteht kein Anlass zu einer näheren Prüfung (BGE 125 V 413 E. 1b und 2c S. 415 ff.; 110 V 48 E. 4a S. 53).
3. Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG). Sie sind vorläufig auf die Gerichtskasse zu nehmen, da die Voraussetzungen für die Gewährung der beantragten unentgeltlichen Rechtspflege (fehlende Aussichtslosigkeit des Rechtsmittels, Bedürftigkeit des Gesuchstellers, Notwendigkeit der anwaltlichen Vertretung [Art. 64 Abs. 1 und 2 BGG; vgl. BGE 125 V 201 E. 4a S. 202 und 371 E. 5b S. 372]) erfüllt sind. Ferner wird seinem Rechtsvertreter eine Entschädigung aus der Gerichtskasse ausgerichtet (Art. 64 Abs. 2 BGG). Der Beschwerdeführer wird indessen auf Art. 64 Abs. 4 BGG aufmerksam gemacht, wonach er als Begünstigter der Gerichtskasse Ersatz zu leisten haben wird, wenn er später dazu in der Lage ist.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Rechtsanwalt Marcel Baeriswyl, Bern, wird als unentgeltlicher Anwalt des Beschwerdeführers bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 6. November 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Nussbaumer