Sachverhalt:
A.
A.a. A._ reichte beim Betreibungsamt Bern-Mittelland ein Betreibungsbegehren gegen die Schweizerische Eidgenossenschaft, vertreten durch Bundesrat Guy Parmelin, über gesamthaft Fr. 2'320.-- ein. Das Betreibungsamt forderte daraufhin A._ mit Schreiben vom 16. Februar 2021 auf, im Hinblick auf die Zustellung des Zahlungsbefehls in der Betreibung Nr. xxx einen Kostenvorschuss von Fr. 150.-- zu leisten. Am 18. Februar 2021 richtete sich A._ an das Obergericht des Kantons Bern, Aufsichtsbehörde in Betreibungs- und Konkurssachen, und hielt fest, die Gebühr für die Zustellung des Zahlungsbefehls betrage nur Fr. 60.--.
A.b. Mit Verfügung vom 23. Februar 2021 verlangte das Betreibungsamt für die Zustellung des Zahlungsbefehls einen Kostenvorschuss von Fr. 150.--. Zudem stellte es die Einstellung der Betreibung in Aussicht, wenn der Kostenvorschuss nicht bis zum 5. März 2021 eingehe.
A.c. Am 27. Februar 2021 wandte sich A._ erneut an das Obergericht. Er verlangte die Aufhebung der betreibungsamtlichen Verfügung, die Feststellung, dass die von ihm inzwischen bezahlte Gebühr von Fr. 60.-- der GebV SchKG entspreche sowie die fristlose Kündigung der Arbeitsverträge der beteiligten Mitarbeiter des Betreibungsamtes und eine Umtriebsentschädigung von Fr. 300.--.
B.
Das Obergericht hiess die Bes chwerde am 27. Mai 2021 teilweise gut, hob die Verfügung vom 23. Februar 2021 auf und wies das Betreibungsamt an, einen Kostenvorschuss von maximal Fr. 73.30 einzufordern. Im Weiteren wurde die Beschwerde abgewiesen. Auf die Einleitung eines Disziplinarverfahrens wurde verzichtet. Gestützt auf <ref-law> wurde keine Parteientschädigung zugesprochen.
C.
A._ ist mit Eingabe vom 7. Juni 2021 an das Bundesgericht gelangt. Der Beschwerdeführer beantragt, den Kostenvorschuss auf Fr. 60.-- festzulegen und die unverzügliche Zustellung des Zahlungsbefehls anzuordnen, unter Androhung einer Busse von Fr. 10'000.-- bei Ungehorsam. Zudem sei ein Disziplinarverfahren anzuordnen. Sowohl für das kantonale Verfahren als auch für jenes vor Bundesgericht verlangt er eine Umtriebsentschädigung von je Fr. 300.--. Schliesslich stellt er ein Gesuch um unentgeltliche Rechtspflege.
Der Beschwerdeführer hat dem Bundesgericht am 4. November 2021 eine weitere Eingabe zukommen lassen.
Das Obergericht hat auf eine Beschwerdeantwort verzichtet. Das Betreibungsamt hat sich nicht vernehmen lassen.
Das Bundesgericht hat die kantonalen Akten beigezogen.

Erwägungen:
1.
1.1. Gegen den angefochtenen Entscheid ist die Beschwerde in Zivilsachen gegeben (<ref-law> i.V.m. Art. 72 Abs. 2 lit. a, Art. 74 Abs. 2 lit. c und Art. 75 Abs. 1 BGG), welche fristgerecht erhoben wurde (<ref-law>). Der Beschwerdeführer hat am vorinstanzlichen Verfahren teilgenommen und ist als Betreibungsgläubiger vom angefochtenen Entscheid besonders berührt und daher zur Beschwerde berechtigt (Art. 76 Abs. 1 lit. a und b BGG). Insoweit ist auf die Beschwerde einzutreten.
1.2. Mit der vorliegenden Beschwerde kann insbesondere die Verletzung von Bundesrecht gerügt werden (<ref-law>). In der Beschwerde ist in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzt (<ref-law>; <ref-ruling> E. 1.2). Die Verletzung verfassungsmässiger Rechte ist ebenfalls zu begründen, wobei hier das Rügeprinzip gilt (<ref-law>; <ref-ruling> E. 2.4).
1.3. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Neue Tatsachen und Beweismittel sind nur soweit zulässig, als erst der vorinstanzliche Entscheid dazu Anlass gibt (<ref-law>), was in der Beschwerde näher auszuführen ist (<ref-ruling> E. 3).
2.
Anlass zur Beschwerde gibt der Kostenvorschuss für die Anhebung einer Betreibung. Strittig sind insbesondere die anfallenden Auslagen.
2.1. Das Betreibungsamt hat für den vom Gläubiger zu leistenen Vorschuss (<ref-law>) die vermutlich anfallenden Kosten für jede Betreibungshandlung zu schätzen. Dabei ist zu unterscheiden zwischen den Gebühren, d.h. dem Entgelt für die Inanspruchnahme amtlicher Tätigkeit, und den Auslagen, die mit Amtshandlungen verbunden sind, wie Porti, Reisen, Inserate und Telefon und dergleichen (<ref-ruling> E. 2.2; Urteil 5A_181/2016 vom 6. Juni 2016 E. 2.1). Welche Kosten das Betreibungsamt erheben darf und wie sie zu bemessen sind, wird durch die GebV SchKG abschliessend festgelegt (<ref-ruling> E. 3.3).
2.2. Vor der kantonalen Aufsichtsbehörde war die Gebühr von Fr. 60.-- für den Erlass, die doppelte Ausfertigung, die Eintragung und die Zustellung des Zahlungsbefehls unbestritten. Sie entspricht der anhand der Forderung von insgesamt Fr. 2'330.-- festgesetzten Höhe (<ref-law>). Hingegen bestand der Beschwerdeführer darauf, dass mit der Grundgebühr auch weitere Vorkehren und Auslagen abgedeckt sind. Die Vorinstanz berechnete für die Zustellung inklusive Rücksendung des Gläubigerdoppels Fr. 8.-- sowie für die Zustellung des Gläubigerdoppels mittels eingeschriebener Sendung Fr. 5.30 (mit Hinweis auf <ref-law>). Da mit einem zweiten Zustellversuch des Zahlungsbefehls und anderweitigen Aufwendungen jedoch nicht zu rechnen sei, sei der vom Betreibungsamt verlangte Kostenvorschuss von Fr. 150.-- übersetzt. Ein Kostenvorschuss von maximal Fr. 73.30 erweise sich als zulässig.
2.3. Nach Ansicht des Beschwerdeführers sind die Kosten für die Zustellung des Gläubigerdoppels nicht gerechtfertigt. Mit dieser Sichtweise verkennt er, dass das Betreibungsamt nicht nur zur Zustellung des Zahlungsbefehls an den Schuldner verpflichtet ist (Art. Art. 64 Abs. 1, Art. 72 Abs. 1 SchKG), sondern dem Gläubiger eine Ausfertigung davon auszuhändigen hat (Art. 70 Abs. 1, Art. 76 Abs. 2 SchKG). Die hierfür anfallenden Kosten bestehen in den Auslagen (<ref-law>) in Gestalt der Posttaxen von Fr. 8.-- (Postzustellung "Betreibungsurkunde"; <ref-ruling> E. 2.2.1; Urteil 5A_715/2013 vom 28. November 2013 E. 2.2) einerseits und Fr. 5.30 (Postzustellung "Einschreiben"; <ref-ruling> E. 4) andererseits und sind in der Grundgebühr von Fr. 60.-- nicht enthalten. Nicht anderes ergibt sich aus der bundesgerichtlichen Rechtsprechung, insbesondere dem vom Beschwerdeführer zitierten Urteil 5A_181/2016 vom 6. Juni 2016.
3.
Im Weiteren besteht der Beschwerdeführer auf disziplinarischen Massnahmen gegenüber den Mitarbeitern des Betreibungsamtes.
3.1. Seiner Ansicht nach liegt eine gravierende Pflichtverletzung vor, da der verlangte Kostenvorschuss statt auf Fr. 60.-- auf Fr. 150.-- festgesetzt worden sei. Entgegen der bekannten Praxis des Bundesgerichts fahre das Betreibungsamt fort, überhöhte Kostenvorschüsse für die Eröffnung einer Betreibung zu verlangen. Dieses Verhalten sei bei einer weiteren Missachtung der geltenden Rechtsprechung mit einer Busse wegen Ungehorsam zu ahnden.
3.2. Die Vorinstanz erläuterte dem Beschwerdeführer die Voraussetzungen einer disziplinarischen Massnahme und legte ihm auch dar, dass eine solche von Amtes wegen von der kantonalen Aufsichtsbehörde angeordnet werde. Zwar könnten Verstösse gemeldet werden, indes verschaffe dies dem Anzeiger keine Parteistellung. Zwar erweise sich der vom Betreibungsamt festgelegte Kostenvorschuss (mit Blick auf die teilweise Gutheissung der Beschwerde) als leicht überhöht, was indes noch keine gravierende Pflichtverletzung darstelle, die eine disziplinarische Massnahme erfordere.
3.3. Mit seinen Vorbringen nimmt der Beschwerdeführer keinen Bezug auf die Begründung des angefochtenen Entscheides. Insbesondere blendet er aus, dass er keinen bundesrechtlichen Anspruch auf disziplinarische Massregelung von Angestellten des Betreibungsamtes hat (<ref-ruling> E. 6) und ihm in disziplinarrechtlichen Angelegenheiten als Anzeiger keine Parteistellung zukommt (EMMEL, in: Basler Kommentar, Bundesgesetz über Schuldbetreibung und Konkurs, 3. Aufl. 2021, N. 12a zu Art. 14, mit Hinw.). Soweit er zudem den Kanton Bern für die Tätigkeit des Betreibungsamtes haftbar machen will (<ref-law>), sprengt sein Ansinnen den Gegenstand der vorliegenden Beschwerde, welche sich gegen einen Entscheid der Aufsichtsbehörde gemäss <ref-law> richtet (<ref-ruling> E. 1b). Die in diesem Zusammenhang verlangte Umtriebsentschädigung von Fr. 300.-- wird als weitere Forderung bereits im Betreibungsbegehren aufgeführt. Sie war weder vom Betreibungsamt noch von der kantonalen Aufsichtsbehörde auf ihre Berechtigung hin zu überprüfen. Somit bildet sie nicht Gegenstand des vorliegenden Verfahrens, welches sich einzig auf die Höhe des Kostenvorschusses für die Einleitung einer Betreibung erstreckt. Auf die diesbezüglichen Vorbringen ist nicht einzugehen.
4.
Nach dem Gesagten ist der Vorinstanz bei der Berechnung des Kostenvorschusses keine Verletzung von Bundesrecht vorzuwerfen. Aufgrund der Regelung in <ref-law> war dem Beschwerdeführer trotz des teilweisen Obsiegens im kantonalen Beschwerdeverfahren keine Parteientschädigung zuzusprechen.
5.
Die Beschwerde ist abzuweisen, soweit darauf eingetreten werden kann. Infolge Aussichtslosigkeit der Beschwerdebegehren ist das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege abzuweisen (<ref-law>). Ausgangsgemäss trägt der Beschwerdeführer die Verfahrenskosten (<ref-law>). Es besteht kein Anlass für eine Parteientschädigung (Art. 68 Abs. 1 und 3 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 200.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Verfahrensbeteiligten und dem Obergericht des Kantons Bern, Aufsichtsbehörde in Betreibungs- und Konkurssachen, mitgeteilt.
Lausanne, 3. Januar 2022
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Der Gerichtsschreiber: Levante