はい、「with my luck」はネガティブで皮肉な文脈でしか使われません。ここでは話し手には運がない、話し手には何か悪いことが起こるだろうということを意味しています。
例: With my luck, my ex-boyfriend will be there.（ツイてないわ、元カレが来るみたい）
例: This is just my luck! I knew I wouldn't get the job.（ツイてないぜ！仕事が来ないのはわかってたよ）
例: With my luck, I'll break my leg when we go skiing.（ツイてないから、スキーに行ったら足を骨折しちゃうよ）