Sachverhalt: Sachverhalt: A. Der 1944 geborene Z._ hat den Beruf eines Bauschlossers erlernt und eine einjährige Ausbildung an einer Handels- und Wirtschaftsschule absolviert. Ab Februar 1991 war er als Sachbearbeiter beim Spital X._ tätig. Im Jahr 1997 erhielt er wegen eines Augenleidens erstmals Leistungen der Invalidenversicherung (medizinische Massnahmen und Hilfsmittel) zugesprochen. Ab 21. Oktober 2002 wurde von ärztlicher Seite wegen eines Rückenleidens eine volle Arbeitsunfähigkeit bestätigt. Am 8. Januar 2003 erfolgte eine Diskushernien-Operation. Z._ klagte weiter über Rückenbeschwerden mit Ausstrahlung in die Beine, was zu seiner vorzeitigen Pensionierung zum 21. Oktober 2003 führte. Er bezieht seither von der Bernischen Pensionskasse eine auf einem Invaliditätsgrad von 100 % beruhende Invalidenrente der beruflichen Vorsorge. Die IV-Stelle Bern, bei der sich Z._ unter Hinweis auf diesen Sachverhalt erneut zum Leistungsbezug angemeldet hatte, zog Berichte des Arbeitgebers und einen Auszug aus dem individuellen Konto sowie die medizinischen Akten der Pensionskasse bei. Zudem holte sie Arztberichte, worunter ein Gutachten des Dr. med. R._, Neurochirurgie FMH, vom 26. April 2004, ein. Gestützt auf diese Unterlagen sprach die IV-Stelle Z._ mit Verfügung vom 9. September 2004 rückwirkend ab 1. Oktober 2003 bei einem Invaliditätsgrad von 100 % eine bis 29. Februar 2004 befristete ganze Invalidenrente (nebst Zusatzrente für die Ehefrau) zu. Die auf die weitere Ausrichtung einer Rente ab 1. März 2004 gerichtete Einsprache des Versicherten wies die Verwaltung mangels eines rentenbegründenden Invaliditätsgrades ab (Einspracheentscheid vom 22. Dezember 2004). Im Januar 2005 meldete sich Z._ unter Hinweis namentlich auch auf eine seit vier Monaten bestehende gesundheitliche Verschlechterung erneut bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle ging von einer Neuanmeldung aus und trat auf diese mangels glaubhaft gemachter rentenrelevanter Veränderung mit Verfügung vom 3. März 2005 nicht ein. Die vom Versicherten hiegegen erhobene Einsprache wies die Verwaltung mit Entscheid vom 14. Juni 2005 ab. Im Januar 2005 meldete sich Z._ unter Hinweis namentlich auch auf eine seit vier Monaten bestehende gesundheitliche Verschlechterung erneut bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle ging von einer Neuanmeldung aus und trat auf diese mangels glaubhaft gemachter rentenrelevanter Veränderung mit Verfügung vom 3. März 2005 nicht ein. Die vom Versicherten hiegegen erhobene Einsprache wies die Verwaltung mit Entscheid vom 14. Juni 2005 ab. B. Z._ erhob gegen beide Einspracheentscheide je Beschwerde. Mit Entscheid vom 12. September 2005 hiess das Verwaltungsgericht des Kantons Bern die Beschwerde gegen den Einspracheentscheid vom 22. Dezember 2004 teilweise gut, indem es den Anspruch auf eine ganze Invalidenrente bis 31. Mai 2004 anstatt bis 29. Februar 2004 bejahte und die Sache an die Verwaltung zurückwies, damit diese mit Blick auf die geltend gemachte gesundheitliche Verschlechterung zu einer allfälligen Rentenberechtigung ab September 2004 ergänzende Abklärungen treffe und neu verfüge. Im Übrigen wies das Gericht die Beschwerde ab. Es sprach dem durch B._ vertretenen Z._ für das kantonale Verfahren eine Parteientschädigung von Fr. 200.- zu Lasten der IV-Stelle zu. In den Erwägungen des Entscheides vom 12. September 2005 äusserte sich das Gericht auch zu der gegen den Einspracheentscheid vom 14. Juni 2005 erhobenen Beschwerde. B. Z._ erhob gegen beide Einspracheentscheide je Beschwerde. Mit Entscheid vom 12. September 2005 hiess das Verwaltungsgericht des Kantons Bern die Beschwerde gegen den Einspracheentscheid vom 22. Dezember 2004 teilweise gut, indem es den Anspruch auf eine ganze Invalidenrente bis 31. Mai 2004 anstatt bis 29. Februar 2004 bejahte und die Sache an die Verwaltung zurückwies, damit diese mit Blick auf die geltend gemachte gesundheitliche Verschlechterung zu einer allfälligen Rentenberechtigung ab September 2004 ergänzende Abklärungen treffe und neu verfüge. Im Übrigen wies das Gericht die Beschwerde ab. Es sprach dem durch B._ vertretenen Z._ für das kantonale Verfahren eine Parteientschädigung von Fr. 200.- zu Lasten der IV-Stelle zu. In den Erwägungen des Entscheides vom 12. September 2005 äusserte sich das Gericht auch zu der gegen den Einspracheentscheid vom 14. Juni 2005 erhobenen Beschwerde. C. Mit Verwaltungsgerichtsbeschwerde lässt Z._ beantragen, in Aufhebung des kantonalen Entscheides sei für die Monate März bis Mai 2004 eine ganze Rente und ab 1. Juni 2004 eine unbefristete Rente entsprechend einem Invaliditätsgrad von mindestens 60 % zuzusprechen; eventualiter und für den Fall, dass die Sache zur weiteren Abklärung und neuen Verfügung an die IV-Stelle zurückgewiesen werde, sei Dr. med. R._ als allfälliger Gutachter wegen Befangenheit in den Ausstand zu versetzen. Weiter wird eine höhere Parteientschädigung für das vorinstanzliche Verfahren verlangt. Die IV-Stelle beantragt die Abweisung der Verwaltungsgerichtsbeschwerde, ohne sich weiter zur Sache zu äussern. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung.