Sachverhalt:
A. Z._ leitete am 12. Juli 2011 gegen X._ beim Betreibungsamt A._ eine Betreibung über Fr. 27'692.95 zuzüglich Zins ein. Als Grund ihrer Forderung gab sie an: "Versäumnisurteil, verkündet am 24.11.2003, 2. Vollstreckbare Ausfertigung vom 23.11.2010 Urteil Landgericht Hannover vom 01.11.2004". Gegen den Zahlungsbefehl vom 13. Juli 2011 erhob X._ Rechtsvorschlag.
Ebenfalls am 12. Juli 2011 stellte Z._ beim Einzelrichteramt am Bezirksgericht Inn ein Arrestgesuch gegen X._, dem mit Arrestbefehl vom 13. Juli 2011 stattgegeben wurde. Dagegen erhob X._ Einsprache. Der Einzelrichter am Bezirksgericht Inn wies die Einsprache mit Entscheid vom 12. Oktober 2011 ab. Er kam darin insbesondere zum Schluss, dass das Versäumnisurteil des Landgerichts Hannover vom 24. November 2003 gemäss dem Lugano-Übereinkommen (LugÜ; in der Fassung vom 16. September 1988) vollstreckbar sei. Dieser Entscheid blieb unangefochten.
Mit Entscheid vom 14. Dezember 2011 hob der Einzelrichter am Bezirksgericht Inn den Rechtsvorschlag auf und erteilte definitive Rechtsöffnung für den Betrag von Fr. 26'472.85 zuzüglich Zins. Auch in diesem Urteil wurde festgestellt, dass das Versäumnisurteil des Landgerichts Hannover vom 24. November 2003 gemäss LugÜ vollstreckbar sei. Der Rechtsöffnungsentscheid erwuchs in Rechtskraft.
Am 12. Januar 2012 stellte Z._ das Fortsetzungsbegehren. Das Betreibungsamt A._ stellte X._ am 19. Januar 2012 die Pfändungsankündigung und die Vorladung zum Pfändungsvollzug zu.
B. Dagegen erhob X._ am 25. Januar 2012 beim Kantonsgericht von Graubünden als Aufsichtsbehörde Beschwerde, ohne diese jedoch zu begründen. Das Kantonsgericht wies ihn am 26. Januar 2012 darauf hin, dass er die Beschwerde bis am 30. Januar 2012 in begründeter Form einreichen müsse, ansonsten darauf nicht eingetreten werden könne. Am 30. Januar 2012 reichte er die Beschwerdebegründung nach.
Mit Verfügung vom 15. Februar 2012 wies das Kantonsgericht die Beschwerde ab, soweit es darauf eintrat.
C. Am 2. März 2012 hat X._ (Beschwerdeführer) Beschwerde in Zivilsachen erhoben. Er beantragt die Aufhebung der Verfügung vom 15. Februar 2012 und die Einstellung der Pfändung durch das Betreibungsamt A._. Sinngemäss hat er um aufschiebende Wirkung ersucht.
Das Kantonsgericht und das Betreibungsamt A._ haben auf Stellungnahme zum Gesuch um aufschiebende Wirkung verzichtet und Z._ (Beschwerdegegnerin) hat keine Einwände erhoben. Mit Präsidialverfügung vom 12. April 2012 ist der Beschwerde aufschiebende Wirkung zuerkannt worden.
Das Bundesgericht hat die Akten beigezogen, in der Sache aber keine Vernehmlassungen eingeholt.

Erwägungen:
1. Entscheide in Schuldbetreibungs- und Konkurssachen unterliegen der Beschwerde in Zivilsachen (<ref-law>). Beschwerdeentscheide der kantonalen Aufsichtsbehörden über Verfügungen der Vollstreckungsorgane gemäss <ref-law> - wie die Pfändungsankündigung (Urteil 7B.97/2003 vom 6. Mai 2003 E. 2.2, in: Pra 93/2004 Nr. 11 S. 55) - sind Endentscheide im Sinne von <ref-law> (<ref-ruling> E. 1.2 S. 351). Der Entscheid der (oberen) Aufsichtsbehörde in Schuldbetreibungs- und Konkurssachen (<ref-law>) kann ohne Rücksicht auf den Streitwert vor Bundesgericht angefochten werden (<ref-law>). Die Beschwerde in Zivilsachen ist damit grundsätzlich zulässig.
Mit vorliegender Beschwerde kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Beschwerde ist zu begründen (<ref-law>). Nach <ref-law> ist in der Begründung in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Dies setzt voraus, dass sich der Beschwerdeführer wenigstens kurz mit den Erwägungen des angefochtenen Entscheids auseinandersetzt (<ref-ruling> E. 2.1 S. 245 f.; <ref-ruling> E. 3.3 S. 60). Es genügt nicht, vor Bundesgericht dieselbe Beschwerdebegründung einzureichen wie im kantonalen Verfahren (<ref-ruling> E. 2.3 S. 247).
2. Der Beschwerdeführer wiederholt praktisch wortwörtlich seine Begründung der kantonalen Beschwerde. Dies trifft zunächst auf seine beiden Rügen zu, der Termin für den Pfändungsvollzug liege unzulässigerweise innerhalb der Frist für die Beschwerde gegen die Pfändungsankündigung und die der Pfändung zugrunde liegende Entscheidung sei nicht vollstreckbar. Seine Rüge, es sei ihm nicht bekannt gegeben worden, dass neben der Eingabe der kantonalen Beschwerde zugleich deren Begründung erfolgen müsse, hat er ebenfalls wörtlich der kantonalen Beschwerde entnommen und einzig insoweit ergänzt, als er geltend macht, dass dieser Hinweis in der Rechtsmittelbelehrung hätte enthalten sein müssen. In dieser Beziehung stösst seine Kritik jedoch ins Leere, da die Vorinstanz ihn auf den Mangel aufmerksam gemacht und ihm Gelegenheit gegeben hat, die Begründung nachzureichen. Er legt nicht dar, welchen Nachteil er durch die angeblich mangelhafte Rechtsmittelbelehrung erlitten haben soll. Auf die Beschwerde kann somit mangels genügender Begründung nicht eingetreten werden.
3. Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (<ref-law>). Parteientschädigung ist keine geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten und dem Kantonsgericht von Graubünden, Schuldbetreibungs- und Konkurskammer als Aufsichtsbehörde über Schuldbetreibung und Konkurs, schriftlich mitgeteilt.
Lausanne, 7. Juni 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zingg