Sachverhalt: A. Am 28. Februar 2014 und 14. August 2015 pfändete das Betreibungsamt V._ in Betreibungen von B._ und der Gerichtskasse U._ den Liquidationsanteil von C._ an der Erbschaft von D._. Nach Scheitern der Einigungsverhandlungen übermittelte das Betreibungsamt die Akten dem Bezirksgericht Aarau, das am 10. Dezember 2015 die Versteigerung des Liquidationsanteils von C._ anordnete. Dieser Entscheid wurde A._ am 15. Dezember 2015 und C._ am 21. Dezember 2015 zugestellt. B. Gegen diesen Entscheid erhob A._ am 7. Januar 2016 (Postaufgabe) Beschwerde an das Obergericht des Kantons Aargau. Sie verlangte, auf die Versteigerung des Liquidationsanteils zu verzichten, da sie ihren Erbteil beeinträchtige und den guten Ruf ihres Vaters und der Familie schädigen könnte. Zudem ersuchte sie um aufschiebende Wirkung. Auch C._ erhob am 7. Januar 2016 Beschwerde an das Obergericht. Mit Entscheid vom 22. Februar 2016 trat das Obergericht auf die Beschwerden wegen Verspätung nicht ein und schrieb das Gesuch um aufschiebende Wirkung infolge Gegenstandslosigkeit ab. C. Am 10. April 2016 hat A._ (Beschwerdeführerin) Beschwerde an das Bundesgericht erhoben. Sie verlangt, den Entscheid des Obergerichts aufzuheben. Ihre kantonale Beschwerde sei durch das Bundesgericht zu behandeln oder die Sache an das Obergericht zur weiteren Behandlung zurückzuweisen. Am 28. April 2016 hat die Beschwerdeführerin aufschiebende Wirkung beantragt. Mit Präsidialverfügung vom 29. April 2016 hat das Bundesgericht dieses Gesuch abgewiesen. Das Bundesgericht hat die Akten beigezogen, aber keine Vernehmlassungen eingeholt.