Erwägungen:
1. X._ wurde mit Betreibungsbegehren der Gemeinde A._ vom 17. Januar 2012 für Fr. 1'866.65 nebst Zins zu 4% seit 4. Januar 2012 betrieben. Der Zahlungsbefehl in der Betreibung Nr. 9205528 des Betreibungsamtes Y._ wurde ihm am 30. Januar 2012 zugestellt. Der Beschwerdeführer erhob keinen Rechtsvorschlag. Die Gläubigerin stellte am 22. Februar 2012 das Fortsetzungsbegehren für eine reduzierte Forderung von Fr. 1'711.35 nebst Zins, worauf das Betreibungsamt die Pfändungsankündigung erliess. Dagegen gelangte der Beschwerdeführer an das Obergericht des Kantons Bern Aufsichtsbehörde in Betreibungs- und Konkurssachen. Er verlangte die Wiederherstellung der Frist zur Erhebung des Rechtsvorschlags und die Aufhebung bzw. Löschung der Betreibung. Am 27. April 2012 wies das Obergericht das Gesuch um Wiederherstellung der Frist ab. Das gleiche Los traf die Beschwerde in der Sache, soweit darauf eingetreten werden konnte und sie nicht gegenstandslos geworden war.
Der Beschwerdeführer hat den obergerichtlichen Entscheid am 21. Mai 2012 (Postaufgabe) beim Bundesgericht mit Beschwerde in Zivilsachen angefochten. Er ersucht um Aufhebung des Entscheids, um aufschiebende Wirkung und um unentgeltliche Rechtspflege.
2. 2.1 In der Beschwerde ist in Auseinandersetzung mit den Erwägungen des angefochtenen Entscheids darzulegen, welche Rechte der beschwerdeführenden Partei durch das kantonale Gericht verletzt worden sind (Art. 42 Abs. 2 BGG; BGE 134 II 244 E. 2.1 S. 245), wobei eine allfällige Verletzung verfassungsmässiger Rechte vom Bundesgericht nicht von Amtes wegen geprüft wird, sondern nur dann, wenn solche Rügen in der Beschwerdeschrift ausdrücklich erhoben und begründet werden (Art. 106 Abs. 2 BGG; BGE 135 III 232 E. 1.2 S. 234). Neue Tatsachen und Beweismittel sind unzulässig (Art. 99 BGG). Auf rein appellatorische Kritik am Sachverhalt tritt das Bundesgericht nicht ein.
2.2 Mit Bezug auf die hier ausschliesslich strittige Wiederherstellung der Rechtsvorschlagsfrist hat das Obergericht erwogen, gemäss Art. 33 Abs. 4 SchKG werde die Wiederherstellung einer Frist gewährt, wenn der Betroffene unverschuldeterweise am rechtzeitigen Handeln gehindert worden sei. Hinderungsgründe bildeten plötzlich eintretende Ereignisse, wie schwere Erkrankung, Unfall, plötzlich eintretende Handlungsunfähigkeit oder unerwarteter Tod naher Angehöriger. Dagegen rechtfertigten Arbeitsüberlastung, kurzfristige Abwesenheit oder Erkrankung sowie fehlerhafte Fristberechnung keine Wiedereinsetzung. Der Beschwerdeführer sei irrtümlich von einer falschen Rechtsvorschlagsfrist ausgegangen. Diese gehe jedoch aus dem Zahlungsbefehl auch für einen Laien verständlich hervor, weshalb der Irrtum hätte vermieden werden können. Selbst wenn man zu seinen Gunsten von einer rechtzeitigen Erklärung des versäumten Rechtsvorschlages ausgehen wollte, stellten die geltend gemachten Umstände nach Lehre und Praxis kein unverschuldetes Hindernis dar.
2.3 Der Beschwerdeführer setzt sich mit dieser Erwägung nicht rechtsgenüglich auseinander. Er bezeichnet zwar die Auslegung von Art. 33 Abs. 4 SchKG als zu eng, was die möglichen Gründe der Fristversäumnis anbelangt, und behauptet, er sei entgegen der Behauptung der Vorinstanz nicht irrtümlich von einer falschen Rechtsmittelfrist ausgegangen. Ihm sei vielmehr die Frist entglitten. Damit legt er indes nicht rechtsgenüglich dar, inwiefern das Obergericht im konkreten Fall Art. 33 Abs. 4 SchKG auf die Umstände des Falles bezogen falsch angewendet hat. Im Übrigen zählt er vor Bundesgericht eine Reihe von neuen "Gründen" auf, ohne allerdings durch konkreten Verweis auf die Akten darzulegen, dass er diese Gründe bereits vor der kantonalen Instanz geltend gemacht hat. Dem angefochtenen Entscheid lässt sich nur entnehmen, dass der Beschwerdeführer seiner Behauptung zufolge irrtümlich von einer falschen Rechtsvorschlagsfrist ausgegangen sei. Die neuen Vorbringen sind damit unzulässig.
2.4 Auf die offensichtlich ungenügend begründete und damit unzulässige Beschwerde ist im vereinfachten Verfahren (Art. 108 Abs. 1 lit. b BGG) durch das präsidierende Mitglied der Abteilung unter Kostenfolge für den Beschwerdeführer (Art. 66 Abs. 1 BGG) nicht einzutreten.
3. Mit dem Entscheid in der Sache wird das Gesuch um aufschiebende Wirkung gegenstandslos.
4. Das Gesuch um unentgeltliche Rechtspflege ist abzuweisen, da sich die Beschwerde von Anfang an als aussichtslos erwiesen hat (Art. 64 Abs. 2 BGG).
Demnach erkennt das präsidierende Mitglied:
1. Auf die Beschwerde wird nicht eingetreten.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 500.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird dem Beschwerdeführer, dem Betreibungsamt Y._, und dem Obergericht des Kantons Bern, Aufsichtsbehörde in Betreibungs- und Konkurssachen, schriftlich mitgeteilt.
Lausanne, 23. Mai 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zbinden