Sachverhalt:
A. Der 1958 geborene G._ meldete sich im September 2009 unter Hinweis auf gesundheitliche Beschwerden bei der Invalidenversicherung zum Rentenbezug an. Im Dezember 2009 ersuchte er unter Hinweis auf eine Schwerhörigkeit überdies um eine Versorgung mit Hörgerät. Die IV-Stelle Bern holte ihm Rahmen ihrer medizinischen und erwerblichen Abklärungen u.a. ein interdisziplinäres Gutachten der Medizinischen Abklärungsstelle Y._ vom 28. Mai 2010 ein. Am 31. Mai 2010 leistete sie Kostengutsprache für zwei Hörgeräte. Sodann verneinte die IV-Stelle mit Vorbescheid vom 15. Juni 2010 und Verfügung vom 3. September 2010 einen Rentenanspruch mit der Begründung, der Invaliditätsgrad betrage lediglich 10 %.
G._ reichte der IV-Stelle mit - bei dieser am 3. September 2010 eingegangenem - Schreiben vom 2. September 2010 das von ihm eingeholte neurologisch-psychiatrische Gutachten des Dr. med. K._, Psychiatrie und Psychotherapie FMH, Neurologie FMH vom 31. August 2010 sowie die Stellungnahmen des Dr. med. A._, FMH Orthopädische Chirurgie vom 6. Juli 2010 und des Dr. med. H._, Innere Medizin, bes. Lungenkrankheiten FMH, FA Schlafmedizin SGSSC, vom 14. Juli 2010 zum Gutachten der Medizinischen Abklärungsstelle Y._ vom 28. Mai 2010 ein.
B. Beschwerdeweise beantragte G._, es sei die Verfügung vom 3. September 2010 aufzuheben, eine ganze Invalidenrente zuzusprechen, richterlich festzustellen, dass die Verwaltung im Vorbescheidverfahren seinen Anspruch auf rechtliches Gehör verletzt habe, und die IV-Stelle zu verpflichten, ihm die gutachterlichen Kosten des Dr. med. K._ von Fr. 3'712.20 sowie die Kosten des Dr. med. H._ von Fr. 189.- und des Dr. med. A._ von Fr. 26.85 rückzuvergüten.
Das Verwaltungsgericht des Kantons Bern holte eine ergänzende Stellungnahme des Dr. med. B._ von der Medizinischen Abklärungsstelle Y._ vom 11. Mai 2011 ein. Dazu äusserte sich wiederum Dr. med. K._ in der vom Versicherten eingereichten Stellungnahme vom 14. Juni 2011. Mit Entscheid vom 5. Juli 2011 wies das Gericht die Beschwerde ab, soweit es darauf eintrat.
C. G._ lässt mit Beschwerde in öffentlich-rechtlichen Angelegenheiten die Aufhebung des kantonalen Entscheides beantragen und seine vorinstanzlichen Rechtsbegehren betreffend Rente, rechtliches Gehör und Kostenersatz erneuern.
Die IV-Stelle beantragt die Abweisung der Beschwerde, ohne sich weiter zur Sache zu äussern. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen werden (Urteil 8C_934/2008 vom 17. März 2009 E. 1 mit Hinweisen, nicht publ. in: <ref-ruling>, aber in: SVR 2009 UV Nr. 35 S. 120). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Sachverhaltsfeststellungen der Vorinstanz können nur berichtigt werden, wenn sie offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen (<ref-law>).
2. Der Beschwerdeführer macht geltend, die IV-Stelle habe seinen Anspruch auf rechtliches Gehör verletzt.
Diese Rüge ist aufgrund ihrer formellen Natur vorab zu prüfen. Sie bezieht sich auf das Vorgehen der Verwaltung im Zusammenhang mit der Stellungnahme des Versicherten zum Vorbescheid. Der Beschwerdeführer sieht eine Gehörsverletzung darin, dass sich die IV-Stelle geweigert hat, ihm die Frist für die Einreichung dieser Stellungnahme auf sein Begehren hin zu erstrecken. Zudem habe sich die Verwaltung mit der dann von ihm eingereichten Stellungnahme nicht auseinandergesetzt.
Das kantonale Gericht hat eine Gehörsverletzung durch die Verwaltung verneint. Diese Beurteilung ist nicht ohne Weiteres nachvollziehbar. Indessen erübrigen sich weitere Erörterungen hiezu. Denn selbst wenn ein solcher Verfahrensmangel bejaht würde, wäre dieser jedenfalls im kantonalen Beschwerdeverfahren geheilt worden (vgl., auch zum Folgenden: <ref-ruling> E. 2.6.1 S. 285; <ref-ruling> E. 3d/aa S. 437 f.; Urteil 1C_373/2009 vom 30. August 2010 E. 7.2, nicht publ. in: <ref-ruling>). Die Vorinstanz war befugt, sowohl den Sachverhalt als auch die Rechtslage frei zu überprüfen, und der Beschwerdeführer konnte ohne Einschränkungen seine Einwände vorbringen. Das kantonale Gericht hat sich mit diesen Vorbringen und der vom Versicherten auf den Vorbescheid hin angekündigten medi-zinischen Stellungnahme auch auseinandergesetzt. Inwiefern dem Beschwerdeführer dennoch ein rechtserhebliches Interesse an der Feststellung einer Gehörsverletzung zukommen sollte, wird von ihm nicht begründet und ist nicht ersichtlich. Er beantragt auch nicht, die Sache sei zur Gewährung des rechtlichen Gehörs an die Verwaltung zurückzuweisen. Davon wäre ohnehin abzusehen, da dies hier zu einem formalistischen Leerlauf und damit zu unnötigen Verzögerungen führen würde (vgl. <ref-ruling> E. 2.2 S. 204 f.; <ref-ruling> E. 5.1 S. 390 mit Hinweisen; erwähntes Urteil 1C_373/2009 E. 7.2). Damit hat es sein Bewenden, ohne dass abschliessend geprüft werden müsste, ob eine Gehörsverletzung vorgelegen hat.
3. Das kantonale Gericht hat im angefochtenen Entscheid die Rechtsgrundlagen für den streitigen Anspruch auf eine Invalidenrente der Invalidenversicherung zutreffend dargelegt. Das betrifft namentlich die Begriffe Invalidität (<ref-law>) und Erwerbsunfähigkeit (<ref-law>), den für einen Rentenanspruch mindestens erforderlichen Invaliditätsgrad von 40 % (<ref-law>), die Invaliditätsbemessung bei erwerbstätigen Versicherten mittels Einkommensvergleich (<ref-law>) und die zu beachtenden Beweisregeln, insbesondere auch im Hinblick auf beweiswertige ärztliche Berichte und Gutachten (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352). Darauf wird verwiesen.
3.1 Die Vorinstanz ist zum Ergebnis gelangt, der Beschwerdeführer sei zwischen Dezember 2008 und April 2009 gänzlich arbeitsunfähig gewesen. Seit Mai 2009 bestehe aber in einer körperlich leichten Tätigkeit, welche seine Schulter/Nacken- und Kniebeschwerden berücksichtige, eine volle Arbeitsfähigkeit.
Diese Feststellungen sind tatsächlicher Natur und können nur auf offensichtliche Unrichtigkeit und Rechtsverletzungen nach <ref-law> geprüft werden (E. 1 hievor).
3.1.1 Das kantonale Gericht stützt sich namentlich auf das Gutachten der Medizinischen Abklärungsstelle Y._ vom 28. Mai 2010 und die ergänzende Stellungnahme des Dr. med. B._ vom 11. Mai 2011. Im Gutachten werden folgende Diagnosen gestellt: Iatrogene (operativ unvermeidbare) Läsion des N. accessorius links; Angst und depressive Störung gemischt, ohne Einfluss auf die berufliche Leistungsfähigkeit; Gonarthrose links. Ausgehend von diesen Befunden gelangten die Experten der Medizinischen Abklärungsstelle Y._ zu der erwähnten Einschätzung der Restarbeitsfähigkeit in einer angepassten Tätigkeit. Die Stellungnahme des Dr. med. B._ vom 11. Mai 2011 enthält ergänzende Begründungselemente.
Die Vorinstanz hat hiezu erwogen, das Gutachten der Medizinischen Abklärungsstelle Y._ sei in allen Teilen beweiswertig im Sinne der Rechtsprechung. Es bestünden keine Anhaltspunkte, welche dies in Frage zu stellen vermöchten. Auf die Expertise der Medizinischen Abklärungsstelle Y._ sei daher abzustellen.
3.1.2 Der Beschwerdeführer äussert zunächst unter Berufung auf Art. 6 EMRK und <ref-law> grundsätzliche Bedenken bezüglich Unabhängigkeit der Medizinischen Abklärungsstelle Y._ und des Dr. med. B._, da diese Abklärungsinstitution eine von IV-Stellen äusserst oft frequentierte MEDAS-Gutachterstelle sei und zu deren Handen zumeist rentenausschliessende Beweisgrundlagen liefere. Bezüglich Dr. med. B._ komme hinzu, dass er notorisch beispielsweise typische Beschwerdebilder nach HWS-Distorsionen verneine und daher als befangen zu betrachten sei.
Das kantonale Gericht hat diese Einwände zu Recht verworfen. Die Rüge betreffend mangelnde Unabhängigkeit der Begutachtungsstelle ist im Lichte des in <ref-ruling> Gesagten (vgl. auch Urteil 8C_997/2010 vom 10. August 2011 E. 2.3 mit Hinweisen; sodann, auch zum Folgenden: Urteil 9C_945/2010 vom 19. Januar 2011) als unbegründet zu betrachten, zumal auch keine Anhaltspunkte für die behauptete einseitige Erstellung von Expertisen vom Beschwerdeführer dargetan oder sonst wie ersichtlich sind. Sodann vermöchte eine allfällige Verneinung bestimmter Beschwerdebilder, welche hier gar nicht zur Diskussion stehen, Dr. med. B._ noch nicht als befangen erscheinen zu lassen. Daran vermag entgegen der in der Beschwerde vertretenen Auffassung das im Urteil "8C_480/290 E. 7.3" - gemeint ist offenbar das Urteil 8C_480/2009 vom 26. Januar 2010 E. 7.3 - Gesagte nichts zu ändern (vgl. Urteil 8C_253/2010 vom 15. September 2010 E. 5.5). Eine Verletzung von Art. 6 EMRK und/oder <ref-law>, welche gegebenenfalls den Beweiswert der gutachterlichen Aussagen mindern könnte, liegt nicht vor.
3.1.3 Der Versicherte wendet weiter ein, das Gutachten der Medizinischen Abklärungsstelle Y._ werde durch die Stellungnahmen des Dr. med. A._ vom 6. Juli 2010 und des Dr. med. H._ vom 14. Juli 2010 sowie durch die Expertise vom 31. August 2010 und die ergänzende Stellungnahme vom 14. Juni 2011 des Dr. med. K._ entkräftet. Zudem sei unterlassen worden, eine orthopädische Abklärung vorzunehmen.
3.1.3.1 Dr. med. H._ führt in der Stellungnahme vom 14. Juli 2010 aus, die Arbeitsfähigkeitsbeurteilung gemäss MEDAS-Gutachten vom 28. Mai 2010 sei seiner Meinung nach ausgeglichen und gerechtfertigt. Wie das kantonale Gericht zutreffend erkannt hat, vermag diese Aussage die fachärztliche Beurteilung durch die Experten der Medizinischen Abklärungsstelle Y._ nicht in Frage zu stellen, sondern stützt sie sogar. Wenn der Beschwerdeführer dennoch geltend macht, Dr. med. H._ komme in der Stellungnahme vom 14. Juli 2010 zum Schluss, das MEDAS-Gutachten entspreche nicht der medizinischen Wahrheit, ist dies aktenwidrig.
3.1.3.2 Die Vorinstanz hat sodann einlässlich dargelegt, weshalb sie das Gutachten der Medizinischen Abklärungsstelle Y._ (mit der ergänzenden Stellungnahme vom 11. Mai 2011) für überzeugender erachtet als die Äusserungen der Dres. med. A._ und K._. Diese Beweiswürdigung ist im Rahmen der bundesgerichtlichen Überprüfungsbefugnis nicht zu beanstanden. Bezüglich Dr. med. A._ ist namentlich auch hervorzuheben, dass er sich zum Gutachten der Medizinischen Abklärungsstelle Y._ lediglich im Rahmen einer kurz gehaltenen - und mit "Kurzbericht" entsprechend betitelten - Stellungnahme geäussert und darin nicht dargelegt hat, auf welche konkreten Abklärungen er seine abweichende Beurteilung der Restarbeitsfähigkeit stützt. Das kantonale Gericht hat überdies in nicht offensichtlich unrichtiger oder rechtsverletzender Weise die Gesichtspunkte erwähnt und gewürdigt, welche auch unter Berücksichtigung der Äusserungen des Dr. med. K._ dafür sprechen, auf die neurologisch-psychiatrische Beurteilung gemäss Gutachten der Medizinischen Abklärungsstelle Y._ (mit Ergänzung vom 11. Mai 2011) abzustellen. Die Auffassung des neurologisch-psychiatrischen Experten der Medizinischen Abklärungsstelle Y._ wurde denn auch im interdisziplinären Diskurs mit den anderen am Gutachten beteiligten Fachärzten bestätigt. Was in der Beschwerde vorgebracht wird, lässt den angefochtenen Entscheid nicht als bundesrechtswidrig erscheinen. Das gilt auch in Bezug auf die Zitierungen und Gegenüberstellungen einzelner Äusserungen von Gutachtern der Medizinischen Abklärungsstelle Y._ und weiteren Ärzten sowie für die Hinweise auf verschiedene Präjudizien.
3.1.3.3 Die Vorinstanz hat sich im Weiteren mit der Rüge auseinandergesetzt, das Gutachten der Medizinischen Abklärungsstelle Y._ enthalte keine orthopädische Beurteilung. Sie hat erwogen, die vorgenommenen Abklärungen durch einen Chirurgen und eine Fachärztin für Innere Medizin, einer viele Teilgebiete umfassenden Disziplin, reichten hier aus. Zudem hätten die genannten Experten den Versicherten diesbezüglich genügend untersucht und den festgestellten Beschwerden im Zumutbarkeitsprofil Rechnung getragen.
Diese Beurteilung ist nicht offensichtlich unrichtig oder bundesrechtsverletzend, zumal der Chirurg der Medizinischen Abklärungsstelle Y._ gemäss ausdrücklicher Erwähnung im Gutachten bei der Erhebung des chirurgisch-traumatologisch/manualmedizinischen Befundes auch die orthopädische Problematik untersucht hat und die Experten auf die entsprechenden medizinischen Vorberichte zurückgreifen konnten. Der Beschwerdeführer macht denn auch nicht geltend, es hätten ergänzende orthopädische Abklärungen zu erfolgen. Vielmehr vertritt er die Auffassung, gestützt auf den Kurzbericht des Dr. med. A._ sei eine orthopädisch bedingte höhere Arbeitsunfähigkeit als ausgewiesen zu betrachten. Dass der Kurzbericht nicht geeignet ist, die vorinstanzliche Beurteilung der Restarbeitsfähigkeit in der erforderlichen qualifizierten Weise zu widerlegen, wurde indessen bereits festgehalten.
3.1.4 Zusammenfassend bleibt es bei der vorinstanzlichen Beurteilung der Restarbeitsfähigkeit.
3.2 Davon ausgehend hat das kantonale Gericht einen Einkommensvergleich vorgenommen und ist zum Ergebnis gelangt, der Invaliditätsgrad erreiche die für einen Rentenanspruch mindestens erforderlichen 40 % (E. 3 Ingress hievor) nicht. Dies wird in der Beschwerde nicht beanstandet und gibt keinen Anlass zu Weiterungen. Der Anspruch auf eine Invalidenrente wurde demnach zu Recht verneint.
4. Da keine pflichtwidrig unterlassene Abklärung durch die Verwaltung Anlass für die Einholung des Privatgutachtens sowie der Berichte der Dr. med. K._, H._ und A._ bot und diese auch keine entscheidrelevanten neuen Erkenntnisse brachten, hat das kantonale Gericht zu Recht die Voraussetzungen für die Übernahme des entsprechenden Honorars durch die IV-Stelle verneint (vgl. Art. 45 Abs. 1, Art. 61 lit. g ATSG; Urteil 8C_491/2011 vom 7. Oktober 2011 E. 5 mit Hinweisen). Die Beschwerde ist daher auch in diesem Punkt abzuweisen.
5. Die Kosten des Verfahrens sind vom unterliegenden Beschwerdeführer zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 8 Februar 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Der Gerichtsschreiber: Lanz