Sachverhalt: A. Gemäss Pfändungsurkunde vom 17. August 2015 pfändete das Betreibungsamt U._ am 2. Juni 2015 in der Betreibung der Gemeindekasse U._ gegen A._ dessen Konto bei der Bank V._ bis maximal Fr. 14'000.--. B. Mit Beschwerde vom 31. August 2015 beantragte A._ beim Bezirksgericht Schwyz als untere Aufsichtsbehörde, diese Pfändungsurkunde aufzuheben. Mit Verfügung vom 27. Oktober 2015 wies das Bezirksgericht die Beschwerde ab. C. Mit Beschwerde vom 9. November 2015 an das Kantonsgericht Schwyz als obere Aufsichtsbehörde verlangte A._ die Aufhebung der Pfändungsurkunde. Mit Beschluss vom 15. Februar 2016 wies das Kantonsgericht die Beschwerde ab. D. Am 29. Februar 2016 hat A._ (Beschwerdeführer) Beschwerde in Zivilsachen an das Bundesgericht erhoben. Er beantragt, den Beschluss vom 15. Februar 2016 aufzuheben und die Sache an das Kantonsgericht zurückzuweisen mit der Anweisung, die Pfändungsurkunde aufzuheben. Eventuell habe das Bundesgericht die Pfändungsurkunde aufzuheben. Das Bundesgericht hat die Akten beigezogen, aber keine Vernehmlassungen eingeholt.