Sachverhalt:
A. Der Gemeinderat der Einwohnergemeinde Burgdorf erteilte im November 2006 dem Institut für Konfliktmanagement und Mythodrama (IKM) unter der Leitung von Prof. Dr. Allan Guggenbühl den Auftrag, eine Studie mit dem Titel "Gewalt in Burgdorf?" zu verfassen. Die Studie, die der Öffentlichkeit vorgestellt und auf der Website der Stadt Burgdorf veröffentlicht wurde, basiert im Wesentlichen auf 19 Interviews mit sogenannten Schlüsselpersonen, welche zuvor vom Gemeinderat bestimmt worden waren.
Mit Eingabe vom 6. August 2007 stellte X._ ein Gesuch um Einsicht in die Liste der Personen, die für die Interviews vorgesehen waren. Der Gemeinderat verweigerte die Einsicht. Die dagegen beim Regierungsstatthalteramt Burgdorf (heute: Regierungsstatthalteramt Emmental) erhobene Beschwerde blieb erfolglos. Auf Beschwerde hin beabsichtigte das Verwaltungsgericht des Kantons Bern, Frau Prof. Dr. Carolyn C. Morf mit der Erstellung eines Gutachtens zur Anonymität von interviewten Personen im Rahmen der qualitativen Sozialforschung zu beauftragen. X._ lehnte die Gutachterin ab. Mit einer Zwischenverfügung vom 9. März 2009 wurde das Ablehnungsbegehren abgewiesen und der Gutachterauftrag erteilt. Daraufhin wies das Verwaltungsgericht die Beschwerde von X._ am 30. April 2010 ab. Die Kosten des Verfahrens, zusammengesetzt aus einer Pauschalgebühr von Fr. 3'000.-- und den Kosten des Gutachtens von Fr. 5'649.--, wurden dem Beschwerdeführer auferlegt.
In der Folge hiess das Bundesgericht die Beschwerde von X._ mit Urteil vom 29. Oktober 2010 gut (Verfahren 1C_284/2010), hob das angefochtene Verwaltungsgerichtsurteil auf und ordnete an, dass in die Liste der Personen, welche der Gemeinderat Burgdorf zur Durchführung der Studie "Gewalt in Burgdorf?" zusammengestellt hatte, Einsicht zu gewähren sei. Die Angelegenheit wurde zu neuem Entscheid im Kostenpunkt an das Verwaltungsgericht zurückgewiesen.
B. Der Einzelrichter am Verwaltungsgericht des Kantons Bern beurteilte den Kostenpunkt neu und entschied am 18. November 2010, dass die Kosten des Zwischenentscheids vom 9. März 2009 im Umfang von Fr. 500.-- X._ auferlegt und die übrigen Verfahrenskosten nicht erhoben werden.
Gegen diesen Entscheid hat X._ beim Bundesgericht am 22. Dezember 2010 Beschwerde in öffentlich-rechtlichen Angelegenheiten erhoben. Er beantragt, das Urteil des Einzelrichters aufzuheben und ihn von einer Kostenauflage im verwaltungsgerichtlichen Verfahren zu entbinden.
Das Verwaltungsgericht beantragt die Abweisung der Beschwerde, die Stadt Burgdorf hat auf eine Stellungnahme verzichtet und das Regierungsstatthalteramt Emmental hat sich nicht vernehmen lassen. Der Beschwerdeführer hat zur Vernehmlassung des Verwaltungsgerichts eine Replik eingereicht.

Erwägungen:
1. Die Eintretensvoraussetzungen geben zu keinen besondern Erwägungen Anlass. Auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten im Sinne von <ref-law> kann grundsätzlich eingetreten werden. Es wird im entsprechenden Sachzusammenhang zu prüfen sein, ob die Beschwerdeschrift den Begründungsanforderungen von Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG genügt. Nach diesen Bestimmungen ist in gedrängter Form dazulegen, inwiefern der angefochtene Akt Recht verletzt. Die Verletzung von Grundrechten prüft das Bundesgericht nur, soweit entsprechende Rügen in der Beschwerde vorgebracht und begründet werden.
2. Der Beschwerdeführer rügt in verschiedener Hinsicht Verletzungen von <ref-law>.
2.1 Als Erstes bestreitet er die Zuständigkeit des Einzelrichters in der vorliegenden Sache und bringt vor, hierfür wäre eine Kammer in der Besetzung mit drei Richtern zuständig gewesen.
In einer derartigen Konstellation ist vorerst zu prüfen, ob das kantonale Verfahrensrecht willkürfrei angewendet worden ist und bejahendenfalls ob der Entscheid vor dem Verfassungsrecht standhält.
Der Beschwerdeführer bezieht sich auf Art. 128 des bernischen Gesetzes über die Verwaltungsrechtspflege (VRPG; Gesetzessammlung 155.21). Danach fallen in die einzelrichterliche Zuständigkeit Beschwerden und Klagen mit einem Streitwert unter Fr. 20 000.--. Der Beschwerdeführer legt nicht dar, dass die Anwendung der genannten Bestimmung auf die vorliegende Konstellation geradezu willkürlich sein soll. Insoweit genügt die Beschwerde den formellen Anforderungen nicht. Es ist auch keineswegs zwingend, dass für einen blossen Kostenentscheid ausschliesslich eine Kammer zuständig sein sollte. Im Übrigen ist es mit <ref-law> nicht unvereinbar, dass über die Kostenliquidation nach Rückweisung durch eine obere Instanz ein Einzelrichter amtet.
Die Beschwerde ist in diesem Punkte unbegründet und daher abzuweisen, soweit darauf eingetreten werden kann.
2.2 Der Beschwerdeführer erachtet ferner Verwaltungsrichter Keller als befangen und voreingenommen im Sinne von <ref-law>. In dieser Hinsicht bezieht er sich nicht auf kantonales Verfahrensrecht und rügt ausschliesslich Verfassungsrecht.
Verwaltungsrichter Keller war in der vorliegenden Angelegenheit Instruktionsrichter, hatte die Verfügung vom 9. März 2009 zur Unbefangenheit der Gutachterin verfasst und am Urteil des Verwaltungsgerichts vom 30. April 2010 mitgewirkt und hat nunmehr den angefochtenen Entscheid getroffen.
Nach ständiger Rechtsprechung des Bundesgerichts ist es unter dem Gesichtswinkel des Gebots der Unvoreingenommenheit gemäss <ref-law> zulässig, dass ein unterinstanzlicher Richter bzw. das unterinstanzliche Gericht nach Gutheissung einer Beschwerde durch eine obere Instanz und entsprechender Rückweisung die Beschwerdesache neu beurteilt (vgl. <ref-ruling> E. 2a S. 30; Urteil 1C_205/2009 vom 2. Juli 2009). Es bedarf besonderer Gegebenheiten, dass davon abgewichen wird (vgl. Urteile 1B_270/2007 vom 21. Juli 2009 und 8C_91/2009 vom 6. Juli 2009). Solche sind im vorliegenden Fall nicht ersichtlich. Insbesondere stellt der Umstand, dass Verwaltungsrichter Keller die Begutachtung veranlasst und die Auffassung der Gutachterin betreffend Anonymisierung geteilt hatte, keinen solchen Grund dar. Daran ändert nichts, dass das Bundesgericht in seinem Urteil vom 29. Oktober 2010 die Bedenken der Vorinstanz nicht übernommen hat (E. 3.4). Im Verfahren, das zum angefochtenen Entscheid führte, war im Anschluss an das bundesgerichtliche Urteil lediglich noch über die Kosten zu befinden. Es sind keine Umstände dargetan, welche Verwaltungsrichter Keller für diesen Entscheid als voreingenommen oder gar als durch das Geschäft unmittelbar betroffen im Sinne von Art. 68 Abs. 4 der Berner Kantonsverfassung erscheinen lassen könnten.
Bei dieser Sachlage kann offen bleiben, ob der Beschwerdeführer den Ausstand von Verwaltungsrichter Keller direkt im Anschluss an das bundesgerichtliche Urteil hätte verlangen können oder müssen. Es braucht auch nicht geprüft zu werden, ob das Verwaltungsgericht die Frage eines allfälligen Ausstandes unter institutionellem Gesichtswinkel von sich aus hätte untersuchen müssen. Die Beschwerde ist daher in diesem Punkte abzuweisen, soweit darauf eingetreten werden kann. Bei dieser Sachlage ist auch nicht ersichtlich, inwiefern die Unterzeichnung der verwaltungsgerichtlichen Vernehmlassung durch Verwaltungsrichter Keller von Verfassung wegen zu deren "Nichtigkeit" führen müsste, wie der Beschwerdeführer in seinen Schlussbemerkungen vorbringt.
2.3 Schliesslich macht der Beschwerdeführer geltend, es verletze <ref-law> (oder je nach Zuordnung allenfalls <ref-law>), für ein Ausstandsverfahren Kosten zu erheben. Das Kostenrisiko dürfe nicht bei der Verfahrenspartei liegen. Der Verweis auf BGE 32 I 33 E. 1 S. 37 f. ist nicht einschlägig. Es entspricht gängiger Praxis, dass für erfolglose auf <ref-law> gestützte Ausstandsbegehren Kosten erhoben werden. Die Beschwerde ist in diesem Punkt unbegründet.
3. Unter diversen Aspekten macht der Beschwerdeführer Verletzungen von <ref-law> geltend.
3.1 Als Erstes rügt er eine Verletzung des rechtlichen Gehörs, weil er im Vorfeld des angefochtenen Entscheids keine Gelegenheit zur Äusserung erhalten habe.
Nach Gutheissung einer Beschwerde durch die obere Instanz und entsprechender Rückweisung an die untere Instanz zu neuem Entscheid besteht nach <ref-law> ein Äusserungsrecht in Abhängigkeit von den nunmehr noch zu entscheidenden Fragen (vgl. <ref-ruling>). Im vorliegenden Fall verblieb die Kostenliquidation zum Entscheid. Der Kostenpunkt war nicht abhängig von Sachfragen oder Beweisergebnissen, zu denen der Beschwerdeführer (noch einmal) hätte angehört werden müssen. Wie die materielle Begründung zeigt (unten E. 4.1), wurde der noch zu treffende Entscheid unter Berücksichtigung des einverlangten Kostenvorschusses getroffen. Der Beschwerdeführer hat sich zudem weder im Vorfeld des Zwischenentscheids noch vor dem verwaltungsgerichtlichen Urteil vom 30. April 2010 zu den Kosten der Zwischenverfügung vernehmen lassen, obwohl er bereits damals dazu Anlass gehabt hätte, wenn er sich eigens zu diesen Kosten hätte äussern wollen. Nach der Praxis besteht im Übrigen kein unbedingter Anspruch auf Äusserung zur rechtlichen Würdigung von gegebenen Sachverhalten (vgl. <ref-ruling> E. 3c S. 52; <ref-ruling> E. 1b S. 96). Insoweit erweist sich die Beschwerde als unbegründet.
3.2 Weiter rügt der Beschwerdeführer eine Verletzung der durch <ref-law> gebotenen Begründungspflicht. Wie der Einzelrichter in seiner Vernehmlassung zu Recht ausführt, hält sich der angefochtene Entscheid in dieser Hinsicht im Rahmen des für die Verlegung von Kosten Üblichen. Verfahrenskosten im normalen Umfang werden nach schematischen Kriterien erhoben und bedürfen im Allgemeinen keiner besondern Begründung. Der angefochtene Entscheid verweist hinsichtlich der Kostenauflage ausdrücklich auf die Verfügung vom 9. März 2009. Der Umfang der Kostenauflage ergibt sich ohne Weiteres daraus, dass im ursprünglichen Verfahren vorerst ein Kostenvorschuss von Fr. 2'500.-- einverlangt worden und im Urteil vom 30. April 2010 nach Erlass der Verfügung vom 9. März 2009 eine Gerichtsgebühr von Fr. 3'000.-- erhoben worden ist. Das musste dem Beschwerdeführer ohne Weiteres klar sein.
Unter diesen Umständen hält der angefochtene Entscheid auch unter dem Gesichtswinkel der Begründungspflicht vor der Verfassung stand.
4. Schliesslich rügt der Beschwerdeführer Verletzungen von <ref-law>.
4.1 Nach Ziff. 4 der Verfügung vom 9. März 2009 sollten die Verfahrenskosten mit der Hauptsache verlegt werden. Dies hat denn auch Eingang gefunden im Urteil vom 30. April 2010, indem die Verfahrenskosten nicht entsprechend dem Kostenvorschuss auf Fr. 2'500.--, sondern auf Fr. 3'000.-- festgelegt worden sind. Der Beschwerdeführer tut unter dem Gesichtswinkel von <ref-law> nicht dar, dass und weshalb nach vorherrschender Auffassung die Kosten des Zwischenentscheids unabänderlich das Schicksal der Kosten im Hauptentscheid teilen müssten und vor dem Hintergrund, dass im Hauptentscheid keine förmliche Aufteilung erfolgt ist, eine red iudicata vorliege. Sowohl der Vorwurf der Willkür wie auch der Verletzung des Grundsatzes von Treu und Glauben erweisen sich als unbegründet.
4.2 In der Verfügung vom 9. März 2009 wird die Frage der Ablehnung der Gutachterin einlässlich diskutiert. Die Verfügung kommt zum Schluss, dass keine Ausstandsgründe im Sinne von Art. 9 Abs. 1 VRPG vorlägen (E. 3.5) bzw. dass weder Ausstandsgründe noch andere sachliche Gründe ersichtlich seien, um von einer Einsetzung der vorgesehenen Gutachterin abzusehen (E. 5). In der Rechtsmittelbelehrung ist auf die Beschwerdemöglichkeit hingewiesen worden (Ziff. 6). Vor diesem Hintergrund kommt der Verfügung ohne Weiteres die Bedeutung einer Abweisung eines Ablehnungsbegehrens zu. Ob der Instruktionsrichter dazu befugt war, ist nach Ablauf der Anfechtungsfristen nicht zu beurteilen.
Von Bedeutung ist, dass der Beschwerdeführer in Bezug auf die Ablehnung der Gutachterin als auch betreffend deren Einsatz unterlegen ist. Er vermag vor dem Hintergrund des kantonalen Verfahrensrechts (insbes. Art. 108 Abs. 1 VRPG) nicht darzutun, dass eine entsprechende Kostenauflage vor dem Willkürverbot nicht standzuhalten vermöge.
Bei dieser Sachlage ist auch nicht nachvollziehbar, weshalb der angefochtene Entscheid unter dem Gesichtswinkel des Willkürverbots gegen das (nicht näher belegte) Unterliegensprinzip (Art. 108 Abs. 1 VRPG) verstossen sollte. Es ist offenkundig, dass der Ablehnungsantrag des Beschwerdeführers abgewiesen worden ist. Ebenso klar ist, dass er mit seinen gegen die Gutachterin vorgebrachten Gründe nicht durchgedrungen ist. Damit hält der angefochtene Entscheid auch in dieser Hinsicht vor der Verfassung stand.
5. Die Beschwerde ist abzuweisen, soweit darauf eingetreten werden kann. Damit wird der Beschwerdeführer kostenpflichtig (<ref-law>). Mit Rücksicht auf den geringen Streitwert scheint es gerechtfertigt, den vorschussweise erhobenen Normalbetrag zu unterschreiten.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, der Einwohnergemeinde Burgdorf, dem Regierungsstatthalteramt Emmental und dem Verwaltungsgericht des Kantons Bern, Verwaltungsrechtliche Abteilung, Einzelrichter, schriftlich mitgeteilt.
Lausanne, 26. Mai 2011
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Fonjallaz Steinmann