Sachverhalt:
A. Der 1957 geborene K._ arbeitete seit 1973 bei der Firma B._, zuletzt als Meister Stellvertreter in X._. Am 15. Mai 2008 meldete er sich unter Hinweis auf Rückenprobleme bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Graubünden traf Abklärungen in erwerblicher und medizinischer Hinsicht. Gemäss Verfügung vom 10. November 2009 sprach sie dem Versicherten ab 1. November 2008 eine bis 30. Juni 2009 befristete ganze Invalidenrente zu; ab 1. April 2009 sei die bisherige Erwerbstätigkeit wieder in vollem Umfang zumutbar. Diese Verfügung blieb unangefochten.
Am 27. Juli 2010 gelangte K._ mit einer als "Revisionsgesuch/ Neuanmeldung" bezeichneten Eingabe an die IV-Stelle, wobei er insbesondere darauf hinwies, das Arbeitsverhältnis bei der Firma B._ habe am 30. Juni 2010 geendet. Aufgrund des nunmehr durchzuführenden Einkommensvergleichs resultiere ein Invaliditätsgrad von 35 %. Damit sei ein Anspruch auf berufliche Massnahmen ausgewiesen. Am 8. Dezember 2010 lehnte die IV-Stelle den Anspruch auf berufliche Massnahmen verfügungsweise ab.
B. Die hiegegen eingereichte Beschwerde, mit welcher K._ hatte beantragen lassen, unter Aufhebung der Verfügung der IV-Stelle seien ihm berufliche Massnahmen zuzusprechen, wies das Verwaltungsgericht des Kantons Graubünden nach Befragung verschiedener Zeugen zum Aufgaben- und Tätigkeitsbereich des Versicherten mit Entscheid vom 28. Juni 2011 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt K._ das vorinstanzlich gestellte Rechtsbegehren erneuern; eventuell sei die Sache zur Abklärung der Arbeitsunfähigkeit an das kantonale Gericht zurückzuweisen.
Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG), die Feststellung des Sachverhaltes nur, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (Art. 105 Abs. 2 BGG).
2. Die Vorinstanz hat die Voraussetzungen für den Anspruch auf Umschulung auf eine neue Erwerbstätigkeit nach Art. 17 Abs. 1 IVG unter Hinweis auf die Rechtsprechung, insbesondere zur praxisgemäss erforderlichen Mindesterwerbseinbusse von rund 20 % (BGE 124 V 108 E. 3 S. 111; Urteil 9C_169/2010 vom 19. April 2010; vgl. auch BGE 130 V 488 E. 4 S. 489 ff. betreffend Militärversicherung), zutreffend dargelegt. Darauf wird verwiesen.
3. 3.1 Das kantonale Gericht hat zunächst festgehalten, dass die Verwaltung zu Recht auf das Revisionsgesuch eingetreten sei, weil das Arbeitsverhältnis mit der Firma B._ aufgelöst wurde; damit liege ein Revisionsgrund vor. Gestützt auf die verschiedenen Angaben zur Arbeitsplatzsituation seitens Arbeitgeberin und Zeugen sowie die Einschätzung des Regionalen Ärztlichen Dienstes (RAD) stellte es sodann fest, die Tätigkeit als Meister Stellvertreter wäre dem Beschwerdeführer mit Rücksicht auf den Gesundheitsschaden weiterhin vollumfänglich zumutbar. Selbst wenn jedoch davon auszugehen wäre, dass die angestammte Arbeit aus gesundheitlichen Gründen nicht mehr zumutbar wäre, bestünde kein Anspruch auf berufliche Massnahmen. Gestützt auf die massgeblichen Durchschnittslöhne wäre diesfalls von hypothetischen Erwerbseinkünften auszugehen, die nur unwesentlich unter dem bisher erzielten Lohn bei der Firma B._ liegen. Der Mindestinvaliditätsgrad von 20 % würde auch bei dieser Annahme nicht erreicht.
3.2 Der Beschwerdeführer beruft sich mit Bezug auf den Grad der Arbeitsunfähigkeit auf das Gutachten der Klinik Y._ vom 27. April 2009, welche die Tätigkeit bei der Firma B._ nicht mehr als zumutbar erachtet hatte. Die Vorinstanz habe diese Einschätzung nicht beachtet und stattdessen auf der Grundlage der Zeugenaussagen selbst eine Würdigung seiner Einsatzfähigkeit vorgenommen. Der RAD wiederum habe die aufgrund des Beweisverfahrens ermittelte konkrete Tätigkeit nicht gekannt. Aufgrund eines Einkommensvergleichs, welchem er für das Invalideneinkommen den Durchschnittslohn von Tabelle TA1 der Schweizerischen Lohnstrukturerhebung (LSE) des Bundesamtes für Statistik, 2008, gemäss Anforderungsniveau 4 (einfache und repetitive Tätigkeiten) zugrunde legte, ermittelte der Beschwerdeführer eine Erwerbseinbusse zwischen 28 und 38 %, so dass die invaliditätsmässigen Voraussetzungen für den Umschulungsanspruch erfüllt seien.
4. 4.1 Ob die Einschätzung der Vorinstanz, der Beschwerdeführer könnte die Tätigkeit als Meister Stellvertreter trotz seines Gesundheitsschadens weiterhin ganztags und ohne Einschränkungen ausüben, mit Blick auf das Gutachten der Klinik Y._ vom 27. April 2009 als offensichtlich unrichtige Sachverhaltsfeststellung (E. 1 hievor) qualifiziert werden müsste, kann offenbleiben, wie aus den nachstehenden Erwägungen erhellt.
4.2 Das kantonale Gericht hat dargelegt, dass der Beschwerdeführer in einer leidensangepassten Erwerbstätigkeit voll arbeitsfähig wäre. Diese Feststellung, welche sich auf das Gutachten der Klinik Y._ stützt, wird vom Versicherten zwar in Frage gestellt; indessen bringt er nichts vor, was die vorinstanzliche Folgerung als offensichtlich unrichtig erscheinen lassen und damit deren Verbindlichkeit in Zweifel ziehen könnte. Bei Festlegung des hypothetischen Invalideneinkommens anhand der Durchschnittslöhne gemäss der LSE 2008, Tabelle TA1, auf der Grundlage des Mittels zwischen Anforderungsniveau 1+2 und Anforderungsniveau 3, ergebe sich ein hypothetisches Erwerbseinkommen von Fr. 85'681.- im Jahr. Verglichen mit dem hypothetischen Einkommen ohne Invalidität (Valideneinkommen) von Fr. 92'273.- resultiere eine Erwerbseinbusse von Fr. 6'591.-, entsprechend einem Invaliditätsgrad von 7 %. Die Mindesterwerbseinbusse von 20 % werde damit klar verfehlt.
4.3 Die Wahl der massgeblichen Stufe (Anforderungsniveau 1/2, 3, 4) bei dem auf den LSE-Tabellen beruhenden statistischen Lohnvergleich ist eine frei überprüfbare Rechtsfrage (SVR 2008 IV Nr. 4 S. 9, I 732/06).
4.4 Der Beschwerdeführer wendet sich dagegen, dass die Vorinstanz im Rahmen der Tabelle TA1 den Durchschnitt von Anforderungsniveau 1+2 und Niveau 3 als massgebend erachtet hat. Nach seinem Dafürhalten müsste das Lohnniveau von Anforderungsniveau 3, beschränkt auf das Baugewerbe, oder gar Niveau 4, herangezogen werden.
Der Auffassung des Versicherten kann nicht beigepflichtet werden. Weshalb er nur noch einfache und repetitive Tätigkeiten (Anforderungsniveau 4) und Arbeiten, die Berufs- und Fachkenntnisse voraussetzen (Anforderungsniveau 3) soll verrichten können, lässt sich mit den verhältnismässig geringfügigen gesundheitlichen Beeinträchtigungen, die laut Expertise der Klinik Y._ vom 27. April 2009 eine adaptierte Erwerbstätigkeit zu 100 % zulassen, jedenfalls nicht erklären. Für den Fall, dass der Beschwerdeführer die bisherige, gut bezahlte Arbeit als Meister Stellvertreter nicht mehr verrichten kann, hat die Vorinstanz in ihrer Eventualbegründung durch den Beizug eines zwischen Anforderungsniveau 1+2 und Niveau 3 liegenden Lohnes, der deutlich unter dem bei der Firma B._ bezogenen Salär liegt, hinreichend Rechnung getragen.
4.5 Ob schliesslich der Vorwurf des Beschwerdeführers, die Vorinstanz habe vom Invalideneinkommen zu Unrecht keinen leidensbedingten Abzug vorgenommen (vgl. dazu BGE 126 V 75 E. 5b/aa-cc S. 79 ff.), begründet ist, kann dahingestellt bleiben. Denn bei einem Abzug von 5 %, wie ihn der Versicherte fordert, beliefe sich das Invalideneinkommen auf Fr. 81'396.95 (Fr. 85'681.- / 100 x 95). Die Erwerbseinbusse würde diesfalls Fr. 10'877.-, der Invaliditätsgrad aufgerundet 12 % (Fr. 10'877.- x 100 / Fr. 92'273.-) betragen und somit den für berufliche Massnahmen erforderlichen Grenzwert von rund 20 % verfehlen.
4.6 Ergänzende Abklärungen zum Grad der Arbeitsunfähigkeit, wie sie in der Beschwerde eventualiter beantragt werden, erübrigen sich.
5. Dem Verfahrensausgang entsprechend sind die Gerichtskosten dem unterliegenden Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 Satz 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Graubünden und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 7. Dezember 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Widmer