Sachverhalt:
A.
Gemäss Pfändungsurkunde vom 17. August 2015 pfändete das Betreibungsamt U._ am 2. Juni 2015 in der Betreibung der Gemeindekasse U._ gegen A._ dessen Konto bei der Bank V._ bis maximal Fr. 14'000.--.
B.
Mit Beschwerde vom 31. August 2015 beantragte A._ beim Bezirksgericht Schwyz als untere Aufsichtsbehörde, diese Pfändungsurkunde aufzuheben. Mit Verfügung vom 27. Oktober 2015 wies das Bezirksgericht die Beschwerde ab.
C.
Mit Beschwerde vom 9. November 2015 an das Kantonsgericht Schwyz als obere Aufsichtsbehörde verlangte A._ die Aufhebung der Pfändungsurkunde. Mit Beschluss vom 15. Februar 2016 wies das Kantonsgericht die Beschwerde ab.
D.
Am 29. Februar 2016 hat A._ (Beschwerdeführer) Beschwerde in Zivilsachen an das Bundesgericht erhoben. Er beantragt, den Beschluss vom 15. Februar 2016 aufzuheben und die Sache an das Kantonsgericht zurückzuweisen mit der Anweisung, die Pfändungsurkunde aufzuheben. Eventuell habe das Bundesgericht die Pfändungsurkunde aufzuheben.
Das Bundesgericht hat die Akten beigezogen, aber keine Vernehmlassungen eingeholt.

Erwägungen:
1.
Gegen einen Entscheid der oberen Aufsichtsbehörde in Schuldbetreibungs- und Konkurssachen ist die Beschwerde in Zivilsachen das zutreffende Rechtsmittel. Der Beschwerdeführer ist zur Beschwerdeführung berechtigt und hat die Beschwerde rechtzeitig eingereicht (Art. 72 Abs. 2 lit. a, Art. 74 Abs. 2 lit. c, Art. 75, Art. 76, Art. 90, Art. 100 Abs. 2 lit. a i.V.m. <ref-law>). Auf einzelne Eintretensfragen ist im Sachzusammenhang einzugehen.
2.
Der Beschwerdeführer macht, wie bereits vor der Vorinstanz, geltend, das Pfändungsverfahren sei rechtswidrig abgelaufen bzw. nichtig.
2.1. Vor Bundesgericht kommt der Beschwerdeführer zunächst auf die gescheiterte Pfändung vom 26. März 2015 zurück. Gegenstand des Verfahrens ist jedoch - wie bereits das Kantonsgericht festgestellt hat - einzig die Pfändung vom 2. Juni 2015 gemäss Pfändungsurkunde vom 17. August 2015. Die angeblichen Vorgänge vom 26. März 2015 sind nicht Verfahrensthema. Darauf ist nicht einzutreten. Der Beschwerdeführer geht auch nicht auf die Erwägung des Kantonsgerichts ein, wonach er diese Vorgänge nicht fristgerecht mit Beschwerde gerügt habe. Allerdings macht er geltend, das Pfändungsverfahren als Ganzes sei wegen der angeblich nicht erfolgten Zustellung der Pfändungsankündigung vom 26. März 2015 als nichtig zu betrachten. Diesen Einwand hat bereits das Kantonsgericht zu Recht verworfen. Zunächst ist eine Pfändung, die nicht oder nicht rechtzeitig angekündigt worden ist, nicht nichtig, sondern bloss anfechtbar (Urteil 7B.80/2003 vom 1. Juli 2003 E. 3.4). Selbst wenn die Pfändungsankündigung bei der gescheiterten Pfändung vom 26. März 2015 mangelhaft gewesen sein sollte, so hat dies sodann keine Auswirkungen auf spätere Pfändungen. Die Gültigkeit der späteren Pfändung ist gesondert zu betrachten.
Der Beschwerdeführer macht ausserdem geltend, nach der gescheiterten Pfändung sei er davon ausgegangen, das Pfändungsverfahren sei beendet. Er habe dies dem Betreibungsamt mit Schreiben vom 1. April 2015 mitgeteilt, doch habe das Amt darauf nicht reagiert. Der Beschwerdeführer leitet aus diesen - unbelegten und damit unzulässigen - Behauptungen keine Folgerungen ab, so dass darauf nicht weiter einzugehen ist. Im Übrigen ist offenbar am 16. April 2015 ein weiterer Pfändungsversuch gescheitert, so dass der Beschwerdeführer zum Zeitpunkt der Pfändung vom 2. Juni 2015 bereits deswegen keinerlei Grundlage hatte, darauf zu vertrauen, dass das Pfändungsverfahren beendet sei.
2.2. Im Kern geht es um die Rüge des Beschwerdeführers, die Pfändung vom 2. Juni 2015 sei ihm mit dem Schreiben vom 29. Mai 2015 zu kurzfristig angekündigt worden, so dass er für die Pfändung unvorbereitet gewesen und vom Erscheinen des Betreibungsbeamten überrumpelt worden sei.
2.2.1. Das Kantonsgericht hat diesbezüglich festgestellt, das Einschreiben der Pfändungsankündigung für den 2. Juni 2015 sei am 1. Juni 2015, 9.35 Uhr, zur Abholung gemeldet und am 5. Juni 2015, 9.52 Uhr, abgeholt worden. Der Beschwerdeführer bestreite die Zustellung der zugleich mit A-Post versandten Pfändungsankündigung. Diese sei nicht bewiesen. Das Kantonsgericht hat dann jedoch offen gelassen, ob die Pfändungsankündigung rechtzeitig erfolgt ist. Der Beschwerdeführer sei nämlich bei der Pfändung anwesend gewesen und habe Gelegenheit gehabt, gegen die Pfändung seines Vermögens bzw. einzelner Vermögenswerte Einwendungen zu erheben. Er habe indessen jegliche Mitwirkung verweigert, weshalb der Betreibungsbeamte zu Recht das Konto "in seiner Abwesenheit" gepfändet habe. Der Schuldner könne die Pfändung nicht vereiteln. Der Beschwerdeführer mache auch nicht geltend, dass es ihm nicht möglich gewesen sei, der Pfändung beizuwohnen und Einwendungen vorzubringen. Allfällige Mängel bei der Zustellung der Pfändungsankündigung seien damit geheilt.
2.2.2. Das Kantonsgericht ist bei diesen Erwägungen von zutreffenden rechtlichen Grundlagen ausgegangen: Allfällige Mängel bei der Pfändungsankündigung werden geheilt, wenn der Schuldner in der Lage war, der Pfändung beizuwohnen oder sich dabei gültig vertreten zu lassen, um seine Rechte geltend zu machen (<ref-ruling> E. 1 S. 43; Urteil 7B.201/2003 vom 15. September 2003 E. 3; je mit Hinweisen). Der Beschwerdeführer bestreitet nicht, dass er bei der Pfändung tatsächlich anwesend war und allfällige Einwände hätte anbringen können. Entgegen der von ihm offenbar vertretenen Ansicht gebietet der Anspruch auf rechtliches Gehör (<ref-law>) nicht, dass sich ein Schuldner nach Erhalt der Pfändungsankündigung, aber vor Durchführung der Pfändung, zur bevorstehenden Pfändung äussern kann. Sein Anspruch auf rechtliches Gehör wird vielmehr gerade dadurch gewahrt, dass er seine Einwände im Zuge der Pfändung anbringen kann, weshalb denn auch eine allenfalls mangelhafte Pfändungsankündigung durch die Anwesenheit des Schuldners bei der Pfändung geheilt wird. Um seine Rechte beim einfachen Vorgang einer Pfändung zu wahren, braucht ein Schuldner keine längere Vorbereitungszeit. Angesichts des Verfahrensablaufs musste der Beschwerdeführer im Übrigen seit längerem mit der Durchführung einer Pfändung rechnen, so dass gegenteilige Äusserungen als Schutzbehauptungen erscheinen. Daran ändert auch nichts, dass der Beschwerdeführer behauptet, in rechtlichen Belangen ein kompletter Laie zu sein und dass er mit der "rechtlichen Zwitterstellung des SchKG" zwischen Privat- und Zwangsvollstreckungsrecht bereits in der Vergangenheit Mühe gehabt habe. Auch ein Laie ist in der Lage, an einer gegen ihn gerichteten Pfändung teilzunehmen und dabei seine Rechte zu wahren.
2.3. Die Beschwerde ist folglich abzuweisen, soweit auf sie eingetreten werden kann.
3.
Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 700.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten und dem Kantonsgericht Schwyz schriftlich mitgeteilt.
Lausanne, 24. Mai 2016
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zingg