Sachverhalt: A. A.a Mit Betreibungsbegehren vom 15. Juni 2009 verlangten die Mitglieder der Erbengemeinschaft X._ selig die Anhebung der Betreibung gegen den Staat Israel für die Forderungssumme von Fr. 100'000.-- nebst Zinsen. Als Forderungsgrund bezeichneten sie das abgelaufene Mietverhältnis an der Strasse A._, in Bern. Das Betreibungsamt Bern-Mittelland, Dienststelle Bern-Mittelland, stellte am 16. Juni 2009 gegenüber dem Staat Israel den Zahlungsbefehl Nr. X. aus und ersuchte am 11. Juli 2009 das Bundesamt für Justiz, den Zahlungsbefehl gemäss Musterformular des Haager Zustellungsübereinkommens den Behörden des Staates Israel zu übermitteln. Mit Schreiben vom 20. August 2009 übermittelte die schweizerische Botschaft in Israel dem Aussenministerium von Israel die Unterlagen. Am 1. September 2009 teilte das Bundesamt für Justiz dem Betreibungsamt mit, dass "die Zustellung mit der Übergabe an das Aussenministerium als zugestellt gilt", und führte hierfür das Datum vom 20. August 2009 an. A.b Am 6. Oktober 2009 gelangte der Konsul der israelischen Botschaft in der Schweiz an das Betreibungsamt. Er stellte gestützt auf Art. 33 Abs. 2 SchKG und unter Verweisung auf das Europäische Übereinkommen über die Staatenimmunität das Gesuch, die Frist zur Erhebung des Rechtsvorschlages auf insgesamt 60 Tage zu verlängern, und erhob vorsorglich Rechtsvorschlag. Mit Verfügungen vom 2. und 17. November 2009 verweigerte das Betreibungsamt die Verlängerung der Rechtsvorschlagsfrist und wies den Rechtsvorschlag als verspätet zurück. B. Gegen diese Verfügungen gelangte der Staat Israel mit betreibungsrechtlichen Beschwerden vom 13. und 26. November 2009 an das Obergericht des Kantons Bern, Aufsichtsbehörde in Betreibungs- und Konkurssachen. Die kantonale Aufsichtsbehörde wies die Beschwerden mit Urteil vom 30. März 2010 ab, soweit sie darauf eintrat. C. Mit Eingabe vom 16. April 2010 führt der Staat Israel Beschwerde in Zivilsachen. Der Beschwerdeführer verlangt, der Zahlungsbefehl sei als nichtig zu erklären und aufzuheben. In den Eventualanträgen beantragt er weiter im Wesentlichen, der Zahlungsbefehl sei rechtskonform, unter Ansetzung einer Rechtsvorschlagsfrist von 60, eventuell 75 Tagen zuzustellen sowie festzustellen, dass der Rechtsvorschlag fristgerecht erhoben worden sei. Weiter ersucht der Beschwerdeführer um aufschiebende Wirkung. Mit Präsidialverfügung vom 29. April 2010 wurde der Beschwerde aufschiebende Wirkung zuerkannt. Die kantonale Aufsichtsbehörde hat sich nicht vernehmen lassen. Die Erbengemeinschaft (Beschwerdegegnerin) hat auf eine Stellungnahme verzichtet. Das Betreibungsamt beantragt sinngemäss und ohne weitere Ausführungen die Abweisung der Beschwerde.