Sachverhalt:
A. A.a Am 13. Oktober 2003 verfügte die Schweizerische Inkassostelle für Radio- und Fernsehempfangsgebühren (Billag AG) gemäss Art. 55 des Bundesgesetzes über Radio und Fernsehen vom 21. Juni 1991 (RTVG; SR 784.40) in Verbindung mit Art. 48 der Radio- und Fernsehverordnung vom 6. Oktober 1997 (RTVV; SR 784.401), dass Z._ für ausstehende Empfangsgebühren einen Betrag von Fr. 60.-- schulde, und dass der Rechtsvorschlag in der gegen ihn laufenden Betreibung Nr. xxx des Betreibungs- und Konkursamtes Berner Oberland, Dienststelle Thun, aufgehoben werde. Gestützt auf die rechtskräftige Verfügung verlangte die Billag AG am 6. Januar 2004 bei der Dienststelle Thun die Fortsetzung der Betreibung. In der Folge setzte die Dienststelle Thun dem Schuldner am 21. Januar 2004 gestützt auf <ref-law> eine Frist von 10 Tagen, um Einwendungen im Sinne von <ref-law> zu erheben. Davon machte der Schuldner fristgerecht Gebrauch, worauf die Dienststelle Thun am 3. März 2004 das Fortsetzungsbegehren abwies.
A.b Dagegen reichte die Billag AG am 12. März 2004 bei der Aufsichtsbehörde in Betreibungs- und Konkurssachen für den Kanton Bern Beschwerde ein. Zur Begründung machte sie im Wesentlichen geltend, sie handle als Behörde des Bundes. Somit liege auch kein "in einem anderen Kanton ergangener Entscheid" im Sinne von <ref-law> vor, weshalb dem Betriebenen Einwände gemäss <ref-law> versagt bleiben müssten. Mit Urteil vom 13. April 2004 wies die Aufsichtsbehörde das Rechtsmittel ab.
B. Die Billag AG hat mit Eingabe vom 28. April 2004 die Sache an die Schuldbetreibungs- und Konkurskammer des Bundesgerichts weitergezogen. Sie beantragt, der Entscheid der Aufsichtsbehörde in Betreibungs- und Konkurssachen für den Kanton Bern vom 13. April 2004 sei aufzuheben und diese bzw. das Betreibungsamt Berner Oberland, Dienststelle Thun, seien anzuweisen, die Betreibung Nr. xxx fortzusetzen.
Das Obergericht des Kantons Bern hat bei der Übersendung der kantonalen Akten auf Gegenbemerkungen verzichtet (Art. 80 OG). Der Schuldner und das Betreibungsamt haben sich nicht vernehmen lassen.

Die Kammer zieht in Erwägung:
1. 1.1 Die Vorinstanz hat erwogen, als Bundesbehörden im Sinne des Schuldbetreibungs- und Konkursrechts gälten namentlich: der Schweizerische Bundesrat, das Schweizerische Bundesgericht, das Eidgenössische Versicherungsgericht, die Departemente und die Bundeskanzlei, die Verwaltungseinheiten des Bundes, die Bundesbehörden, deren unmittelbare Aufsichtsbehörde der Bundesrat sei, und die Instanzen autonomer Anstalten und Betriebe sowie die Eidgenössischen Rekurs- und Schiedskommissionen (Staehelin, in: Kommentar zum Bundesgesetz über Schuldbetreibung und Konkurs, SchKG I, Basel 1998, N. 104 zu <ref-law>). Keine Bundesbehörden seien demgegenüber private Organisationen, selbst wenn sie gestützt auf Bundesrecht entschieden und das Bundesrecht die entsprechende Verfügung als vollstreckbar erkläre (Staehelin, a.a.O., N. 105 zu Art. 80 und N. 24 zu <ref-law>). Werde eine derartige Verfügung von einer ausserkantonalen Instanz erlassen, so blieben die Einwendungen des Betriebenen gemäss <ref-law> erhalten.
Die Aufsichtsbehörde fährt fort, die Billag AG sei eine Swisscom-Tochtergesellschaft mit Sitz in Freiburg, welche als Aktiengesellschaft des privaten Rechts konstituiert sei. Sie biete so genannte Billing-Dienstleistungen (Rechnungsstellung, Inkasso und Datenbankverwaltung) an, wobei der Bund ihr grösster Auftraggeber sei. Das Know-how der Billag AG stehe aber auch privaten Unternehmen zur Verfügung (vgl. den Internetauftritt unter www.swisscom.com). Es handle sich deshalb bei ihr zweifellos um eine private Organisation und nicht etwa um eine Einheit der Bundeszentralverwaltung oder - wie früher noch die PTT - um eine autonome Anstalt. Dass ihr gewisse Sonderkompetenzen zustünden, namentlich das Recht, in Ausübung von Bundesrecht Verfügungen zu erlassen und diese vollstreckbar zu erklären (<ref-ruling> ff.), mache sie nach dem Gesagten aber nicht zu einer Bundesbehörde im Sinne von <ref-law>. Das Bundesgericht habe im Übrigen diese Frage wiederholt für Krankenkassen - denen ebenfalls bundesrechtliche Verfügungskompetenz zustehe - entschieden (letztmals <ref-ruling> ff.) und es sei nicht ersichtlich, weshalb für die privatrechtlich organisierte Billag AG etwas anderes gelten solle.
Die Aufsichtsbehörde fährt fort, die Billag AG sei eine Swisscom-Tochtergesellschaft mit Sitz in Freiburg, welche als Aktiengesellschaft des privaten Rechts konstituiert sei. Sie biete so genannte Billing-Dienstleistungen (Rechnungsstellung, Inkasso und Datenbankverwaltung) an, wobei der Bund ihr grösster Auftraggeber sei. Das Know-how der Billag AG stehe aber auch privaten Unternehmen zur Verfügung (vgl. den Internetauftritt unter www.swisscom.com). Es handle sich deshalb bei ihr zweifellos um eine private Organisation und nicht etwa um eine Einheit der Bundeszentralverwaltung oder - wie früher noch die PTT - um eine autonome Anstalt. Dass ihr gewisse Sonderkompetenzen zustünden, namentlich das Recht, in Ausübung von Bundesrecht Verfügungen zu erlassen und diese vollstreckbar zu erklären (<ref-ruling> ff.), mache sie nach dem Gesagten aber nicht zu einer Bundesbehörde im Sinne von <ref-law>. Das Bundesgericht habe im Übrigen diese Frage wiederholt für Krankenkassen - denen ebenfalls bundesrechtliche Verfügungskompetenz zustehe - entschieden (letztmals <ref-ruling> ff.) und es sei nicht ersichtlich, weshalb für die privatrechtlich organisierte Billag AG etwas anderes gelten solle.
1.2 1.2.1 Die Beschwerdeführerin bringt dagegen vor, der Begriff "Verwaltungsbehörde des Bundes" (<ref-law>) sei im Sinne von Art. 1 Abs. 1 und 2 VwVG zu verstehen, wie dies in der Botschaft über die Änderung des Bundesgesetzes über Schuldbetreibung und Konkurs festgehalten werde (BBl 1991 III 66). Gemäss <ref-law> gälten als Behörden "andere Instanzen oder Organisationen ausserhalb der Bundesverwaltung, soweit sie in Erfüllung ihnen übertragener öffentlichrechtlicher Aufgaben des Bundes verfügen". Dies treffe auch auf die Beschwerdeführerin zu. Die von der Vorinstanz zitierte Kommentarstelle von Staehelin (a.a.O., N. 105 zu <ref-law>) enthalte keinerlei Begründung und stehe überdies im Widerspruch zur Botschaft von 1991.
1.2.2 Auch Jaeger/Walder/Kull/Kottmann führen als Bundesbehörden im Sinne von <ref-law> die gleichen an wie diejenigen im angefochtenen Entscheid (Bundesgesetz über Schuldbetreibung und Konkurs, 4. Aufl., Bd. I, S. 354); Gilliéron führt die Bundesbehörden nicht einzeln auf (Commentaire de la loi fédérale sur la poursuite pour dettes et la faillite, articles 1-88, N. 45 zu <ref-law>). Es fällt auf, dass die in den Kommentaren Staehelin (a.a.O.) und Jaeger/Walder/ Kull/Kottmann (a.a.O.) wiedergegebenen Bundesbehörden sich mit den in Art. 1 Abs. 2 lit. a-d VwVG genannten Bundesbehörden decken; dazu kommen das Schweizerische Bundesgericht und das Eidgenössische Versicherungsgericht. Nicht berücksichtigt werden von diesen Autoren die anderen Instanzen oder Organisationen ausserhalb der Bundesverwaltung, soweit sie in Erfüllung ihnen übertragener öffentlichrechtlicher Aufgaben des Bundes verfügen (<ref-law>). Eine Begründung hierfür wird nicht angegeben. Die Beschwerdeführerin könnte, wie sie selbst geltend macht, einzig unter die in <ref-law> genannten Behörden subsumiert werden. Es ist richtig, wie sie weiter ausführt, dass gemäss der Botschaft zur Revision des SchKG als Verwaltungsbehörden des Bundes die im Sinne von Art. 1 Abs. 1 und 2 VwVG genannten Behörden zu verstehen sind (BBl 1991 III 66). Art. 80 und 81 SchKG gaben diesbezüglich in den eidgenössischen Räten keinerlei Anlass zur Diskussion (AB S 1993 S 645 und 1993 N 19).
Es ist vorliegend nicht bestritten, dass der Beschwerdeführerin eine öffentlichrechtliche Aufgabe des Bundes übertragen worden ist. Sie hat sich bereits in der <ref-ruling> E. 3b S. 42 zu Grunde liegenden Beschwerde darauf berufen, sie sei eine Verwaltungsbehörde im Sinne von <ref-law>; dies war jedoch nicht zu entscheiden. Das Bundesgericht hat jedoch befunden, der Bundesrat habe die im RTVG enthaltene Gesetzesdelegation nicht überschritten, wenn er der schweizerischen Inkassostelle für Radio- und Fernsehempfangsgebühren die Befugnis zum Erlass von Verfügungen zur Erhebung von Empfangsgebühren übertragen habe (E. 3 und 4).
1.2.3 Gemäss <ref-law> setzt das Betreibungsamt im Falle eines rechtskräftigen Anerkennungsentscheides, der den Rechtsvorschlag ausdrücklich beseitigt (Abs. 1) und der in einem anderen Kanton ergangen ist, dem Schuldner nach Eingang des Fortsetzungsbegehens eine Frist von 10 Tagen an, innert der er gegen den Entscheid die Einreden nach <ref-law> erheben kann (Abs. 2). Eine Krankenkasse - als juristische Person des privaten oder öffentlichen Rechts vom Eidg. Departement des Innern als Versicherer zugelassen (Art. 12 f. KVG [SR 832.10]) - ist keine Bundesbehörde, auch wenn sie gestützt auf Bundesrecht entscheidet und das Bundesrecht die entsprechende Verfügung als vollstreckbar erklärt (<ref-ruling> E. 2 S. 247/248). Die Rechtsprechung ging dabei - ohne dies näher zu begründen - davon aus, dass Krankenkassen und deren Verfügungen gleich wie die Rechtsmittelentscheide der kantonalen Verwaltungs- und Versicherungsgerichte den Kantonen zugehörten und erst das Urteil des eidgenössischen Versicherungsgerichts von einer Behörde des Bundes stamme (so ausdrücklich <ref-ruling> E. 5b S. 334). Die Rechtsprechung hat also bei der Anwendung von <ref-law> die Unterscheidung getroffen, ob der Rechtsmittelweg im Kanton oder im Bund beginnt. <ref-law> unterscheidet denn auch zwischen den Entscheiden des Bundes und des eigenen Kantons (Abs. 1), der anderen Kantone (Abs. 2) und fremden Staaten (Abs. 3) und sieht je unterschiedliche Verteidigungsmöglichkeiten vor. Da der Rechtsweg von Einsprachen gegen Verfügungen der Krankenkassen im Kanton beginnt und über die kantonalen Verwaltungsgerichte an das eidgenössische Versicherungsgericht führt (Art. 57 und 62 ATSG; SR 830.1), stehen den Schuldnern die Einwendungen gemäss <ref-law> nur dann zu, wenn eine Krankenkasse ausserhalb des Kantons der Betreibung mit der Verfügung über die Zahlungspflicht des Versicherten auch den Rechtsvorschlag beseitigt (<ref-ruling> E. 2 S. 248).
Die Schweizerische Inkassostelle für Radio- und Fernsehempfangsgebühren ist zuständig, eine erstinstanzliche Verfügung zu erlassen (<ref-law>). Bei der Ausübung dieser Funktion verfügt die Beschwerdeführerin - ähnlich einer Abteilung der Bundesverwaltung - in Anwendung des VwVG erstinstanzlich für das ganze Gebiet der Schweiz. Diese Verfügung kann beim BAKOM angefochten werden (<ref-law>). Letztinstanzlich ist die Verwaltungsgerichtsbeschwerde beim Bundesgericht zulässig (<ref-ruling> E. 4b S. 44). Die Beschwerdeführerin ist somit vollumfänglich in das Verwaltungsverfahren des Bundes eingebettet und damit eine Bundesbehörde im Sinne von <ref-law>. Das hat zur Folge, dass dem Schuldner die Einwendungen gemäss <ref-law> versagt bleiben.
1.2.4 Die Beschwerde ist somit nach dem Ausgeführten gutzuheissen und der Entscheid der Aufsichtsbehörde aufzuheben. Das Betreibungsamt ist anzuweisen, die Betreibung Nr. xxx fortzusetzen.
2. Das Beschwerdeverfahren ist grundsätzlich kostenlos (<ref-law> und <ref-law>), und es darf keine Parteientschädigung zugesprochen werden (<ref-law>).

Demnach erkennt die Kammer:
1. Die Beschwerde wird gutgeheissen, und der Entscheid der Aufsichtsbehörde in Betreibungs- und Konkurssachen für den Kanton Bern vom 13. April 2004 wird aufgehoben. Das Betreibungs- und Konkursamt Berner Oberland, Dienststelle Thun, wird angewiesen, die Betreibung Nr. xxx fortzusetzen.
2. Es werden keine Kosten erhoben.
3. Dieses Urteil wird den Parteien, dem Betreibungs- und Konkursamt Berner Oberland, Dienststelle Thun, und der Aufsichtsbehörde in Betreibungs- und Konkurssachen für den Kanton Bern schriftlich mitgeteilt.
Lausanne, 29. Juni 2004
Im Namen der Schuldbetreibungs- und Konkurskammer
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber: