Sachverhalt:
A. In der vom Friedensrichteramt A._ der Stadt B._ angehobenen Betreibung Nr. 1 stellte das Betreibungsamt Y._ der Ehefrau von X._ am 22. Oktober 2007 den Zahlungsbefehl zu. Der Betriebene erhob Rechtsvorschlag. Zudem reichte er gegen die Erhebung von Zustellkosten in der Höhe von Fr. 40.-- Beschwerde ein beim Bezirksgericht C._, untere kantonale Aufsichtsbehörde in Schuldbetreibungs- und Konkurssachen. Mit Beschluss vom 3. Dezember 2007 trat das Bezirksgericht auf die Beschwerde wegen ihres ungebührlichen Inhaltes nicht ein. Es erhob keine Kosten und sprach keine Parteientschädigungen zu.
B. Daraufhin gelangte X._ an das Obergericht des Kantons Zürich, obere kantonale Aufsichtsbehörde in Schuldbetreibungs- und Konkurssachen, welches mit Beschluss vom 5. Mai 2008 auf seinen Rekurs nicht eintrat und ihm eine Spruchgebühr von Fr. 400.-- sowie eine Busse von Fr. 800.-- auferlegte.
C. X._ ist mit Beschwerde in Zivilsachen und subsidiärer Verfassungsbeschwerde vom 26. Mai 2008 an das Bundesgericht gelangt. Er beantragt die Aufhebung des obergerichtlichen Beschlusses und die Anweisung an das Bezirksgericht, auf seine Beschwerde einzutreten. Eventualiter seien die kantonalen Instanzen anzuweisen, seine Eingaben zur Heilung der Ungebührlichkeiten vorab zurückzuweisen. Das Betreibungsamt und das Obergericht haben sich nicht vernehmen lassen.
Erwägungen:
1. 1.1 Entscheide der kantonalen Aufsichtsbehörden in Zwangsvollstreckungssachen unterliegen der Beschwerde in Zivilsachen (Art. 72 Abs. 2 lit. a BGG in Verbindung mit Art. 19 SchKG). Sie ist unabhängig von einer gesetzlichen Streitwertgrenze gegeben (Art. 74 Abs. 2 lit. c BGG). Der angefochtene Beschluss erweist sich als letztinstanzlich (Art. 75 Abs. 1 BGG; § 284 Ziff. 2 und 4 ZPO/ZH). Auf die fristgerecht erhobene Beschwerde ist demnach einzutreten (Art. 100 Abs. 2 lit. a BGG).
1.2 Damit entfällt die subsidiäre Verfassungsbeschwerde (Art. 113 BGG). Die Eingabe des Beschwerdeführers wird ausschliesslich als Beschwerde in Zivilsachen entgegen genommen. Es können sämtliche Beschwerdegründe vorgebracht werden und das Bundesgericht ist in seiner Prüfungsbefugnis nicht auf die verfassungsmässigen Rechte beschränkt (Art. 95 ff. BGG).
2. 2.1 Der Beschwerdeführer macht geltend, die Vorinstanz habe den Inhalt seines Rekurses zu Unrecht als ungebührlich betrachtet. Zudem hätte sie ihm in einem solchen Fall vor Erlass des Beschlusses eine Nachfrist zur Behebung dieses angeblichen Mangels gemäss § 131 Abs. 2 GVG/ZH ansetzen müssen. Indem sie davon abgesehen habe, habe sie sein rechtliches Gehör verletzt. Im Weitern bestreitet der Beschwerdeführer die Voraussetzungen gemäss Art. 20a Abs. 2 Ziff. 5 SchKG, weshalb ihm für das vorinstanzliche Verfahren weder Kosten noch eine Busse hätte auferlegt werden dürfen. Schliesslich habe ihm die Vorinstanz das rechtliche Gehör verweigert, da sie ihn vor Aussprechen der Busse nicht zur Stellungnahme eingeladen, sondern das Fehlen einer Rechtfertigung für sein Verhalten antizipiert habe.
2.2 Gemäss § 131 Absatz 1 Satz 1 GVG/ZH dürfen schriftliche Eingaben weder einen ungebührlichen Inhalt aufweisen noch weitschweifig oder schwer lesbar sein. Genügt die Eingabe diesen Anforderungen nicht, wird zur Behebung des Mangels Frist angesetzt (§ 131 Abs. 2 GVG/ZH). Zwar bestreitet der Beschwerdeführer den ungebührlichen Inhalt seiner Eingabe an die Vorinstanz. Es kann indes keine Zweifel aufkommen, dass sein Rekurs jede dem Gericht geschuldete Achtung vermissen lässt. Nach dem Wortlaut der angeführten Bestimmung müssen derartige Eingaben an sich zur Verbesserung an den Verfasser zurückgewiesen werden (Hauser/Schweri, Kommentar zum zürcherischen Gerichtsverfassungsgesetz, 2002, § 131 N 12).
2.3 Die Regelung des § 131 Abs. 2 GVG/ZH ist indes für Fälle bestimmt, in denen eine Partei mangels besseren Wissens eine mangelhafte Rechtsschrift einreicht oder zur Korrektur einer einmaligen Entgleisung. Davon kann beim Beschwerdeführer keine Rede mehr sein. Er hat den kantonalen Gerichten bereits wiederholt ungebührliche Rechtsschriften eingereicht, die ebenso wiederholt zur Verbesserung nach § 131 Abs. 2 GVG/ZH unter Auferlegung von Ordnungsbussen zurückgewiesen wurden. In Kenntnis des Verbotes ungebührlicher Rechtsschriften fiel der Beschwerdeführer weiterhin durch derartige Eingaben auf, weshalb das Obergericht ihm bereits vor Jahren androhte, darauf ohne Ansetzung einer Nachfrist nicht einzutreten. Das Bundesgericht hat diese kantonale Praxis wiederholt geschützt und ist selber verschiedentlich auf ungebührliche Rechtsschriften des Beschwerdeführers nicht eingetreten. Daraus ergibt sich, dass dem Beschwerdeführer von den kantonalen Instanzen und vom Bundesgericht wiederholt zur Kenntnis gebracht worden ist, dass Eingaben mit ungebührlichem Inhalt unzulässig sind, was ihn freilich bisher nicht gehindert hat, erneut derartige Eingaben einzureichen (Urteil 5P.410/2005 vom 6. April 2006 E. 3.2). Der Beschwerdeführer legt ungeachtet bisheriger Nachfristen und Mahnungen ein unverändertes Verhalten an den Tag, das keinen Schutz verdient. Die Parteien haben sich in einem Prozess an die Regeln von Treu und Glauben zu halten. Dazu gehört auch das Verbot des Rechtsmissbrauchs, welches in der zweckwidrigen Verwendung eines Rechtsinstitutes besteht (BGE 131 I 166 E. 6.1). Demnach kann der Beschwerdeführer nicht gestützt auf sein rechtliches Gehör oder andere verfassungsmässigen Grundsätze auf die Einhaltung der kantonalrechtlichen Pflicht zur Nachfristansetzung bestehen.
2.4 Der Rekurs wurde von der Vorinstanz als bös- und mutwillig qualifiziert, was zur Auflage der Kosten und einer Busse führte. Der Beschwerdeführer geht auf die Begründung des angefochtenen Beschlusses nicht ein, soweit sein Begehren darin als aussichtslos bewertet wird. Damit kann von einer Verletzung von Art. 20a Abs. 2 Ziff. 5 SchKG nicht die Rede sein. Dass der Rekurs zudem wegen seiner Form unhaltbar sei, fällt weitgehend mit dem Vorhalt zusammen, sein Inhalt sei ungebührlich. Dies ist zwar offensichtlich der Fall, wie bereits dargelegt wurde (E. 2.2), würde für sich genommen indes die Kostenauflage zumindest bei unbeholfenen Rechtsuchenden nicht rechtfertigen (BGE 127 III 178 E. 2b). Wie soeben angeführt, erweist sich die Auferlegung der Kosten jedoch bereits aus einem andern Grunde nicht als bundesrechtswidrig.
2.5 Die Vorinstanz sah davon ab, den Beschwerdeführer anzuhören, bevor sie ihm eine Busse auferlegte. Soweit die Busse wegen Verletzung des gebotenen Anstandes gesprochen wurde, beschlägt sie kantonales Recht (BGE 127 III 178 E. 2). Da in einem solchen Fall die Wiedererwägung in Frage kommt, brauchte der Beschwerdeführer vorweg nicht angehört zu werden (Frank/Sträuli/Messmer, Kommentar zur zürcherischen Zivilprozessordnung, 3. Aufl., N. 20 zu § 50; BGE 111 Ia 273 E. 2d). Von einer Verletzung des rechtlichen Gehörs kann damit keine Rede sein. Zudem stand für die Vorinstanz im vorliegenden Fall eindeutig das herabwürdigende Verhalten des Beschwerdeführers im Vordergrund, womit die Busse disziplinarischen Charakter hat. Sie wurde weniger wegen bös- und mutwilliger Prozessführung auferlegt, was nicht ohne Verletzung von Bundesrecht antizipiert erfolgen könnte (7B.134/2005 vom 13. September 2005 E. 2.3, in Pra 2006, Nr. 34 S. 335).
3. Nach dem Gesagten ist der Beschwerde insgesamt kein Erfolg beschieden. Ausgangsgemäss trägt der Beschwerdeführer die Kosten (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 700.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, als oberer kantonaler Aufsichtsbehörde in Schuldbetreibungs- und Konkurssachen, schriftlich mitgeteilt.
Lausanne, 6. Oktober 2008
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Raselli Schett