「Down to dust」はあまり頻繁に使われる表現ではありません。ここでは、自分の意見にいつも反対したり何かと批評したりする人間たちに、自分のことを「なんの価値も無いもの・塵くず（dust）」となるまでコテンパンにこき下ろさせるつもりはない、という意味です。 この表現が少し別の言い方で使われているのを見たことがあるかもしれません。例えば「down into dust」、「into dust」とか「turn into dust」などです。
例：Every promise they made turned into dust.（彼らの交わした約束は全て意味を失った。）
例：She watched her effort turn into dust.（彼女は自分の努力が台無しとなるのを目の当たりにした。）