Haller oli pitänyt yllä hyviä suhteita Piłsudskin kanssa. Suhteet alkoivat kuitenkin rakoilla Piłsudskin alettua suunnitella toukokuun vallankaappausta. Haller oli saanut tietää vallankaappauksesta etukäteen ja hän erosi tehtävistään joulukuussa 1925. Vallankaappaus seurasi toukokuussa seuraavana vuonna. Haller pidätettiin vallankaappauksen jälkimainingeissa yhteistyön tekemisestä edellisen hallituksen kanssa. Hänen vapauduttuaan myöhemmin Haller asettui asumaan Polankaan, jossa hän julkaisi vallankaappausta käsittelevän kirjan "Wypadki warszawskie" ja Piłsudskia kritisoineen kirjan "Naród i armia".