「cross to carry」とは、自分だけで耐えねばならない、対処しなければならない重圧や責任のことです。この慣用表現は、自分の困難は他人と共有できない、他人には助けてもらえないということを表現したいときによく使われます。この「I gotta carry my cross without you」もこのような意味で、この重圧は1人で背負わなければならないと言っているわけですね。
例: I don't want to take out a loan to pay my hospital bills, but it's my cross to carry.（病院代を払うためにローンを組みたくはないが、それは私が背負うべき十字架だ。）
例: That old man has his own cross to carry. He was the only one out of his family to survive the war.（その老人は十字架を背負っていた。戦争で生き残ったのは、家族の中で彼1人だった。）