「I'll leave with every piece of you」とは、彼を晒し、彼のパワーや自信の源を奪った後に、壊れた彼の「the broken pieces」を持って帰ると言っています。つまり、彼には何も残らないということですね。これは感情についての話かもしれませんし、物理的な物についての話かもしれません。
例: Don't betray me, or I'll ruin you and take the pieces with me.（裏切らないでね、さもないと君を破滅させて、欠片も持って行っちゃうからね。）
例: They took every piece of him. Now he's not who he used to be.（彼らは彼のすべてのピースを奪った。今の彼は、以前の彼ではない。）