ここでは、Get to youとは、誰かがあなたを怒らすことを意味します。従って、誰かがDon't let them get to youはDon't let them bother you.（彼らのことで怒らないの。）となります。
例：
A :My teacher is so bossy.（私の先生はあまりにも権威的だ。）
B: Hey, don't let her get to you.（ねぇ、先生のことで怒らないの。）