Sachverhalt: A. A.a Am 13. Oktober 2003 verfügte die Schweizerische Inkassostelle für Radio- und Fernsehempfangsgebühren (Billag AG) gemäss Art. 55 des Bundesgesetzes über Radio und Fernsehen vom 21. Juni 1991 (RTVG; SR 784.40) in Verbindung mit Art. 48 der Radio- und Fernsehverordnung vom 6. Oktober 1997 (RTVV; SR 784.401), dass Z._ für ausstehende Empfangsgebühren einen Betrag von Fr. 60.-- schulde, und dass der Rechtsvorschlag in der gegen ihn laufenden Betreibung Nr. xxx des Betreibungs- und Konkursamtes Berner Oberland, Dienststelle Thun, aufgehoben werde. Gestützt auf die rechtskräftige Verfügung verlangte die Billag AG am 6. Januar 2004 bei der Dienststelle Thun die Fortsetzung der Betreibung. In der Folge setzte die Dienststelle Thun dem Schuldner am 21. Januar 2004 gestützt auf Art. 79 Abs. 2 SchKG eine Frist von 10 Tagen, um Einwendungen im Sinne von Art. 81 Abs. 2 SchKG zu erheben. Davon machte der Schuldner fristgerecht Gebrauch, worauf die Dienststelle Thun am 3. März 2004 das Fortsetzungsbegehren abwies. A.b Dagegen reichte die Billag AG am 12. März 2004 bei der Aufsichtsbehörde in Betreibungs- und Konkurssachen für den Kanton Bern Beschwerde ein. Zur Begründung machte sie im Wesentlichen geltend, sie handle als Behörde des Bundes. Somit liege auch kein "in einem anderen Kanton ergangener Entscheid" im Sinne von Art. 79 Abs. 2 SchKG vor, weshalb dem Betriebenen Einwände gemäss Art. 81 Abs. 2 SchKG versagt bleiben müssten. Mit Urteil vom 13. April 2004 wies die Aufsichtsbehörde das Rechtsmittel ab. B. Die Billag AG hat mit Eingabe vom 28. April 2004 die Sache an die Schuldbetreibungs- und Konkurskammer des Bundesgerichts weitergezogen. Sie beantragt, der Entscheid der Aufsichtsbehörde in Betreibungs- und Konkurssachen für den Kanton Bern vom 13. April 2004 sei aufzuheben und diese bzw. das Betreibungsamt Berner Oberland, Dienststelle Thun, seien anzuweisen, die Betreibung Nr. xxx fortzusetzen. Das Obergericht des Kantons Bern hat bei der Übersendung der kantonalen Akten auf Gegenbemerkungen verzichtet (Art. 80 OG). Der Schuldner und das Betreibungsamt haben sich nicht vernehmen lassen.