Den nevnte fattigfolkskampanjen som ble organisert av King var i særdeleshet kontroversiell, selv innenfor borgerrettsbevegelsen. Rustin avsto fra marsjen ved å hevde at målene til denne kampanjen var altfor brede, kravene umulige å oppnå, og at disse kampanjene ville føre til tilbakeslag og til mer undertrykkelse av fattige og svarte.