Sachverhalt: A. A.a. Im Scheidungsverfahren zwischen Z._ (Ehefrau) und X._ (Ehemann) appellierte Letzterer gegen das Urteil der a.o. Gerichtspräsidentin des Gerichtskreises G._ vom 16. November 2009 beim Obergericht des Kantons Bern. In dieser Sache erliess Oberrichterin O._ als Referentin am 18. Dezember 2009 eine Verfügung betreffend Erhebung eines Kostenvorschusses und setzte mit Verfügung vom 12. Januar 2010 die Hauptverhandlung auf den 11. März 2010 an. Zu dieser Verhandlung waren auch die Parteien geladen. Am 25. Februar 2010 ersuchte der Anwalt von X._ um Absetzung des Gerichtstermins und wies dabei auf die Zustimmung der Gegenpartei hin. Mit Verfügung vom 8. März 2010 wies die Referentin das Gesuch nach Rücksprache mit Z._ ab. A.b. Am 10. März 2010 ersuchte X._ um Ablehnung von Oberrichterin O._. Anlässlich der Verhandlung vom 11. März 2010 erfolgte eine neue Zusammensetzung der Kammer, welcher Oberrichterin O._ nicht mehr angehörte. Der Vorsitzende der Kammer eröffnete die Neubesetzung den Parteien und gab überdies bekannt, dass damit das Ablehnungsbegehren gegen Oberrichterin O._ gegenstandslos werde. B. Daran anschliessend ersuchte X._ um Ablehnung der für den Fall bestimmten Kammerschreiberin K._. Noch am Tag der Verhandlung gab die Kammer dem Ablehnungsgesuch nicht statt. C. X._ hat gegen diesen ihm am 11. März 2010mündlich und am 1. April 2010 schriftlich und begründet eröffneten Entscheid mit einem am 9. April 2010 der Post übergebenen Schriftsatz beim Bundesgericht Beschwerde erhoben. Er beantragt, den Entscheid betreffend Ablehnungsgesuch gegen Kammerschreiberin K._ aufzuheben und das Ablehnungsbegehren gutzuheissen. Da das Obergericht in seiner Vernehmlassung vom 20. Mai 2010 die Begründung der Abweisung des Ablehnungsbegehrens gegen die Kammerschreiberin wesentlich erweitert hatte, ordnete die Präsidentin der II. zivilrechtlichen Abteilung des Bundesgerichts am 27. Mai 2010 einen zweiten Schriftenwechsel an. Der Beschwerdeführer hat mit Eingabe vom 10. Juni 2010 repliziert. Das Obergericht hat am 21. Juni 2010 eine Duplik eingereicht, die dem Beschwerdeführer zugestellt worden ist. D. Das mit der Beschwerde gestellte Gesuch um Sistierung des Beschwerdeverfahrens wurde mit Verfügung vom 13. April 2010 abgewiesen.