Sachverhalt:
A. Der 1962 geborene S._ meldete sich wegen einer Diskushernie am 8. September 2009 für Massnahmen zur beruflichen Integration und zur Ausrichtung einer Rente bei der Invalidenversicherung an. Nach Abklärungen in medizinischer und erwerblicher Hinsicht, insbesondere nach Anordnung einer im Juli 2010 durchgeführten Arbeitsmarktlich-Medizinischen Abklärung (AMA) sowie gestützt auf die aktualisierte medizinische Dokumentation und auf ein durch die RAD-Ärzte am 5./6. August 2010 formuliertes Zumutbarkeitsprofil verfügte die IV-Stelle Bern am 26. April 2011 die Abweisung der Leistungsbegehren (ermittelter Invaliditätsgrad von 32 %).
B. In der dagegen erhobenen Beschwerde beantragte der Versicherte in Aufhebung der angefochtenen Verfügung die Ausrichtung einer Dreiviertelsrente. Eventuell sei die Sache zwecks Vornahme neuer Abklärungen an die IV-Stelle zurückzuweisen und subeventuell sei ihm eine Viertelsrente auszurichten. Mit Entscheid vom 31. August 2011 wies das Verwaltungsgericht des Kantons Bern die Beschwerde ab.
C. S._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des kantonalen Entscheides sei ihm eine Viertelsrente zuzusprechen. Damit legt er neu den ärztlichen Kurzbericht einer Hospitalisation vom 9. August bis zum 6. September 2011 auf.
IV-Stelle und Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1. 1.1 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (<ref-law>; vgl. <ref-ruling>). Es darf nicht über die Begehren der Parteien hinausgehen (<ref-law>).
1.2 Neue tatsächliche Vorbringen im Sinne des neu aufgelegten Kurzberichts einer Hospitalisation im Spital X._ vom 9. August bis zum 6. September 2011, welche die Abklärung eines generalisierten Schmerzsyndroms und einer mittelgradigen depressiven Episode (F32.1) zum Gegenstand gehabt hatte, sind gemäss <ref-law> nicht zu berücksichtigen (Urteile 4D_150/2009 vom 15. März 2010 und 5A_103/2010 vom 19. Februar 2010 E. 3.1 in fine).
2. Streitig und zu prüfen ist, ob der Versicherte Anspruch auf eine Invalidenrente hat.
3. 3.1 Die Vorinstanz hat die gesetzlichen Voraussetzungen für den Anspruch auf eine Rente der Invalidenversicherung (<ref-law>, Art. 6 und 8 ATSG), die Definition des Rechtsbegriffs Invalidität (<ref-law>) sowie die Anforderungen an den Beweiswert ärztlicher Berichte und Gutachten zutreffend angeführt. Darauf wird verwiesen.
3.2 Das kantonale Gericht erwog, dass nach übereinstimmenden medizinischen Berichten somatische Befunde an der Lenden- und an der Halswirbelsäule ausgewiesen seien; das Gericht stellte im Wesentlichen auf die Berichte des Regionalen ärztlichen Dienstes der IV-Stelle (RAD) von med. pract. L._, Fachärztin für Allgemeine Medizin und Dr. med. P._, Facharzt für Orthopädische Chirurgie vom 5. und vom 6. August 2010 ab. Demgemäss sei dem Beschwerdeführer eine körperlich leichte, selten mittelschwere Tätigkeit, wechselbelastend bezüglich Sitzen/Gehen/Stehen zumutbar. Heben/Tragen maximal 10 kg, nicht repetitiv unter Ausschluss von Tätigkeiten über der Schulterhorizontalen respektive über Kopfhöhe. Keine belastenden Drehbewegungen in der Lendenwirbelsäule. In einer solch angepassten Arbeit könne dem Beschwerdeführer ein volles Pensum mit einer maximalen Leistungsminderung von 10-15 % wegen vermehrter Pausen zugemutet werden. Gestützt auf diese medizinische Schätzung der Arbeitsfähigkeit nahm die Vorinstanz die Invaliditätsbemessung vor, wobei sie von einem leicht höheren Valideneinkommen als die Verwaltung von Fr. 70'551.- ausging. Das Invalideneinkommen bezifferte die Vorinstanz wie die IV-Stelle, ausgehend von einem Arbeitspensum von 85 % und zusätzlich in Berücksichtigung eines leidensbedingten Abzugs von 10 % auf Fr. 46'962.-, was einen Invaliditätsgrad von rund 32 % ergab.
3.3 Demgegenüber macht der Beschwerdeführer geltend, die Vorinstanz habe in willkürlicher Weise Bundesrecht sowie Völkerrecht verletzt und den Sachverhalt offensichtlich unrichtig festgestellt. Sie betrachte seine Invalidität ausschliesslich aus orthopädisch-neurochirurgischer Perspektive und habe offensichtlich übersehen, dass bei ihm ein Schmerzsyndrom vorliege, welches in psychiatrischer Hinsicht nie fachärztlich abgeklärt worden sei. Im Kurzbericht zur durch den Hausarzt in die Wege geleiteten Hospitalisation vom 9. August bis 6. September 2011 sei allerdings nicht nur das chronische, zunehmend generalisierte Schmerzsyndrom, sondern insbesondere auch die depressive Episode (F32.1) diagnostiziert worden, welche unterdessen mittelgradig ausgeprägt sei. Die Arbeitsunfähigkeit in psychischer Hinsicht sei noch nicht bestimmt worden, es sei aber offensichtlich, dass eine mittelgradig ausgeprägte Depression zumindest eine Teilarbeitsunfähigkeit bewirke. Was den Invaliditätsgrad anbelange, verwechsle die Vorinstanz den Abzug wegen Leistungsminderung von 15 % angesichts vermehrter Pausen und den leidensbedingten Abzug, welcher die IV-Stelle lediglich bei 10 % angesetzt habe. Unter Berücksichtigung der Komponenten des Schwerarbeiterabzugs, der Dienstjahre und der Teilzeitarbeit sei ein leidensbedingter Abzug von 25 % gerechtfertigt.
3.3 Demgegenüber macht der Beschwerdeführer geltend, die Vorinstanz habe in willkürlicher Weise Bundesrecht sowie Völkerrecht verletzt und den Sachverhalt offensichtlich unrichtig festgestellt. Sie betrachte seine Invalidität ausschliesslich aus orthopädisch-neurochirurgischer Perspektive und habe offensichtlich übersehen, dass bei ihm ein Schmerzsyndrom vorliege, welches in psychiatrischer Hinsicht nie fachärztlich abgeklärt worden sei. Im Kurzbericht zur durch den Hausarzt in die Wege geleiteten Hospitalisation vom 9. August bis 6. September 2011 sei allerdings nicht nur das chronische, zunehmend generalisierte Schmerzsyndrom, sondern insbesondere auch die depressive Episode (F32.1) diagnostiziert worden, welche unterdessen mittelgradig ausgeprägt sei. Die Arbeitsunfähigkeit in psychischer Hinsicht sei noch nicht bestimmt worden, es sei aber offensichtlich, dass eine mittelgradig ausgeprägte Depression zumindest eine Teilarbeitsunfähigkeit bewirke. Was den Invaliditätsgrad anbelange, verwechsle die Vorinstanz den Abzug wegen Leistungsminderung von 15 % angesichts vermehrter Pausen und den leidensbedingten Abzug, welcher die IV-Stelle lediglich bei 10 % angesetzt habe. Unter Berücksichtigung der Komponenten des Schwerarbeiterabzugs, der Dienstjahre und der Teilzeitarbeit sei ein leidensbedingter Abzug von 25 % gerechtfertigt.
3.4 3.4.1 Die Vorinstanz hat nicht übersehen, dass beim Beschwerdeführer im späteren Krankheitsverlauf der Verdacht auf ein chronifiziertes Schmerzsyndrom aufkam und eine Anpassungsstörung diagnostiziert worden war. Sie hat auch den Austrittsbericht der Klinik Y._ vom 25. Mai 2010 zutreffend gewürdigt, der eine stufenweise Wiedereingliederung in den Arbeitsprozess empfahl. Eine Bundesrechtsverletzung ist darin nicht zu erblicken. Es verstösst auch nicht gegen Bundesrecht, wenn keine weiteren Abklärungen in psychiatrischer Hinsicht in die Wege geleitet wurden. Selbst wenn eine durch das somatische Leiden (mit-)bedingte leichte oder mittelgradige depressive Episode fachärztlich festgestellt würde, stellt diese Diagnose nach der Rechtsprechung in der Regel ohnehin keine von depressiven Verstimmungszuständen klar unterscheidbare andauernde Depression im Sinne eines verselbstständigten Gesundheitsschadens dar und lässt selbst beim Vorliegen einer somatoformen Schmerzstörung oder eines anderen pathogenetisch-ätiologisch unklaren syndromalen Beschwerdebildes ohne organisch hinreichende Grundlage nicht auf deren ausnahmsweise Unüberwindbarkeit schliessen (<ref-ruling> E. 5a S. 299; Urteil 9C_749/2010 vom 23. November 2010 E. 4.3.1). Von dieser Regel abzugehen, bietet die medizinische Aktenlage keinen hinreichenden Anlass.
3.4.2 Ausgehend von der für das Bundesgericht verbindlichen Feststellung des kantonalen Gerichts waren beim Beschwerdeführer nach übereinstimmenden medizinischen Berichten der behandelnden und der abklärenden Ärzte somatische Befunde an der Lenden- und an der Halswirbelsäule ausgewiesen. Die Vorinstanz liess indessen entgegen den anderslautenden übereinstimmenden ärztlichen Einschätzungen ausser Acht, dass in einer ersten längeren Krankheitsphase Arbeitsunfähigkeiten ausschliesslich aufgrund dieser somatisch bedingten Rückenleiden vorlagen. So attestierte der RAD-Arzt Dr. med. P._ dem Beschwerdeführer noch im Januar 2010 eine wegen der Rückenleiden bestehende Arbeitsunfähigkeit, ohne dass er von einer psychisch (mit-)bedingten Somatisierung oder Schmerzausweitung sprach. Dr. med. P._ stellte gegenteils ausschliesslich somatische Diagnosen (Bericht vom 8. Januar 2010).
3.4.3 Aktenkundig ist ein voller, durchgehender Taggeldbezug ab Januar 2009. In einem Arztbericht vom 16. Februar 2009 empfahl Dr. med. R._, bei objektiver Unauffälligkeit sei die Arbeit nach zweimonatigem Schmerzgeschehen versuchsweise wieder schrittweise aufzunehmen, ab 17. Februar 2009 zu 50 % und ab 23. Februar 2009 wieder voll. Im Mai 2009 wurde indessen der Beschwerdeführer am Rücken operiert (Mikrochirurgische Dekompression DH rechts). Der behandelnde Neurochirurg PD Dr. med. E._ attestierte in seinem Bericht vom 7. Juli 2009, ab 1. August 2009 sei bei unauffälligem MRI eine Arbeitsfähigkeit zumindest zu 50 % gegeben. Er schränkte seine Aussage aber insofern ein, als er festhielt, bei fehlendem Nachweis einer Kompression sei eine gezielte Rehabilitation notwendig, wobei er das Problem der Wirbelkompression L5 noch mittels MRI abklären lasse. Am 13. Juli 2009 wurde das in Aussicht gestellte MRI durchgeführt und im Bescheid vom 15. Juli 2009 festgehalten: "keine Rest-DH oder Rezidiv L4/5 (...), so dass die Beschwerden als Folge der ausgeprägten Kompression der Wurzel L5 rechts gedeutet werden müssen". Damit stellte PD Dr. med. E._ einen auffälligen MRI-Befund fest und relativierte damit seine frühere Prognose vom 7. Juli 2009. Am 29. Juli 2009 äusserte Dr. med. R._ denn auch, seine Empfehlung vom Februar 2009 hätte sich nicht umsetzen lassen: "Wahrscheinlich ist mit einer längeren Arbeitsunfähigkeit zu rechnen." Ein Arbeitsversuch fand vom 3. bis 6. August 2009 statt. PD Dr. med. E._ führte am 12. Oktober 2009 aus, leider bestehe eine Arbeitsunfähigkeit, der Versicherte könne jedoch beim früheren Arbeitgeber in die leichte Tätigkeit der Maschinenführung versetzt werden und dort stundenweise einspringen. Schliesslich stellte er am 21. Dezember 2009 fest, es habe keine durchgreifende Verbesserung stattgefunden, es bestehe bei Besserung der lumbalen Probleme die persistierende cervikoradikuläre Problematik im linken Arm, welche für den Patienten auch eine erhebliche Einschränkung der Leistungsfähigkeit und Arbeitsfähigkeit beinhalte. Insgesamt sei die Situation verfahren, die Befürchtungen eines chronischen Schmerzsyndroms hätten sich leider bewahrheitet. In seinem Bericht vom 8. Januar 2010 attestierte auch der RAD-Arzt Dr. med. P._ das Vorliegen einer vollen Arbeitsunfähigkeit. Am 2. Februar 2010 bestätigte der Konsiliararzt Dr. med. Z._ ein residuelles Cervikobrachialgiesyndrom und am 17. März 2010 attestierte er deswegen eine Arbeitsunfähigkeit von 100 % bis auf Weiteres.
Erst im Austrittsbericht der Klinik Y._ vom 25. Mai 2010 ist die Rede davon, dass eine Diskrepanz bestehe zwischen den erhobenen objektiven Befunden und den vom Patienten präsentierten Schmerzen. Die Ärzte der Klink empfahlen eine stufenweise Wiedereingliederung sowie Adaptation der Arbeitsumgebung/-abläufe und attestierten eine 50%ige Arbeitsfähigkeit. Etwas später, im Rahmen der von der AMA zwischen dem 5. und dem 30. Juli 2010 durchgeführten Leistungsabklärung und gemäss Bericht der RAD-Ärztin med. pract. L._ vom 6. August 2010 wurde sodann festgehalten, es könne dem Versicherten eine angepasste Arbeit vollzeitig mit Leistungsminderung von 10 bis 15 % zugemutet werden.
3.4.4 Aufgrund dieses medizinischen Verlaufs, den der behandelnde PD Dr. med. E._ und auch die beurteilenden RAD-Ärzte gleichermassen beschrieben, kann erst im Zeitpunkt des Aufenthaltes in der Klinik Y._ vom Entstehen einer Somatisierungsstörung ausgegangen werden bzw. von einem Befund, der sich somatisch nicht mehr erklären liess. Bis Mai 2010 war der Beschwerdeführer mit anderen Worten aufgrund seines Rückenleidens arbeitsunfähig. Ausgehend von einem Beginn der Wartezeit im Januar 2009 (<ref-law>, E. 3.4.3) war diese im Januar 2010 abgelaufen.
Von einer 50%igen Arbeitsfähigkeit kann gemäss dem Bericht der Klinik Y._ erst im Mai 2010 ausgegangen werden und von einer zumutbaren ganztägigen leidensangepassten Tätigkeit laut den RAD-Ärzten erst im August 2010. In Anwendung von <ref-law> besteht somit grundsätzlich ein Rentenanspruch von März 2010 (sechs Monate nach der Anmeldung vom 8. September 2009; Art. 29 Abs. 1 a.A. IVG) bis und mit November 2010. Wegen <ref-law> (E. 1.1) kann auf einen Einkommensvergleich verzichtet werden; ein Anspruch auf die allein beantragte Viertelsrente während dieser befristeten Zeit ist ohne weiteres ausgewiesen.
4. Der Beschwerdeführer obsiegt teilweise. Dem Beschwerdeführer steht eine reduzierte Parteientschädigung zu (<ref-law>). Es rechtfertigt sich, die Gerichtskosten den Parteien je hälftig aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Verwaltungsgerichts des Kantons Bern, Sozialversicherungsrechtliche Abteilung, vom 31. August 2011, und die Verfügung der IV-Stelle Bern vom 26. April 2011 werden aufgehoben, soweit diese für die Zeit von März 2010 bis und mit November 2010 den Anspruch des Beschwerdeführers auf eine Viertelsrente verneinen. Im Übrigen wird die Beschwerde abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden den Parteien je zur Hälfte auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 1'400.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 18. September 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Scartazzini