Erwägungen:
1.
Am 27. Januar 2021 berechnete das Betreibungsamt Olten-Gösgen das Existenzminimum des Beschwerdeführers und pfändete den das Existenzminimum von Fr. 2'430.-- übersteigenden Betrag.
Dagegen erhob der Beschwerdeführer Beschwerde bei der Aufsichtsbehörde für Schuldbetreibung und Konkurs des Kantons Solothurn. Er verlangte die Berücksichtigung der Unterhaltsbeiträge von Fr. 850.-- im Existenzminimum, die er gemäss Scheidungsurteil vom 11. November 2010 an seine Tochter zu leisten habe. Mit Urteil vom 26. April 2021 wies die Aufsichtsbehörde die Beschwerde ab.
Dagegen hat der Beschwerdeführer am 4. Mai 2021 Beschwerde an das Bundesgericht erhoben. Am 6. Mai 2021 hat das Bundesgericht dem Beschwerdeführer mitgeteilt, dass die Beschwerdefrist nicht erstreckt werden kann (Art. 47 Abs. 1 BGG).
2.
Der Beschwerdeführer verlangte die Fristerstreckung, um Beweismittel einzureichen. Neue Beweismittel sind vor Bundesgericht jedoch grundsätzlich unzulässig (Art. 99 Abs. 1 BGG). Insbesondere könnte die vom Beschwerdeführer angestrebte Neubeurteilung des (abgeänderten) Scheidungsurteils des Richteramts Olten-Gösgen vom 11. November 2010 nicht berücksichtigt werden.
3.
Nach Art. 42 Abs. 2 BGG ist in der Beschwerdebegründung in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt. Der Beschwerdeführer geht jedoch auf das angefochtene Urteil überhaupt nicht ein, worin ausgeführt wird, dass im Urteil vom 11. November 2010 keine über die Mündigkeit hinausgehende Unterhaltspflicht des Beschwerdeführers für seine Tochter festgesetzt worden sei und es fraglich erscheine, ob er gegenüber seiner Tochter nach Art. 277 Abs. 2 ZGB noch unterhaltspflichtig sei, womit das Betreibungsamt zu Recht die Vorlage eines aktuellen richterlichen Urteils sowie von Zahlungsquittungen verlangt habe.
4.
Die Beschwerde enthält damit offensichtlich keine hinreichende Begründung. Auf sie ist im vereinfachten Verfahren durch das präsidierende Mitglied der Abteilung nicht einzutreten (Art. 108 Abs. 1 lit. b BGG).
5.
Es rechtfertigt sich ausnahmsweise, auf die Erhebung von Gerichtskosten zu verzichten (Art. 66 Abs. 1 BGG).
Demnach erkennt das präsidierende Mitglied:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Es werden keine Gerichtskosten erhoben.
3.
Dieses Urteil wird den Verfahrensbeteiligten und der Aufsichtsbehörde für Schuldbetreibung und Konkurs des Kantons Solothurn schriftlich mitgeteilt.
Lausanne, 1. Juni 2021
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zingg