Năm 576, kình địch Bắc Chu tiến hành một cuộc tấn công lớn nhằm vào Bắc Tề. Cao Vĩ ban đầu đã đích thân dẫn quân giao chiến với Bắc Chu Vũ Đế, song sau khi chịu thất bại tại Bình Dương (平陽, nay thuộc Lâm Phần, Sơn Tây), Cao Vĩ đã phải chạy về bồi đô Tấn Dương (晉陽, nay thuộc Thái Nguyên, Sơn Tây) và mất ý chí chiến đấu. Để chuẩn bị cho việc chạy trốn đến Sóc châu (朔州, nay gần tương ứng với Sóc Châu, Sơn Tây) và sau đó có thể là Đột Quyết, Cao Vĩ trước tiên đã gửi Hồ thái hậu và Cao Hằng đến Sóc châu. Sau khi ông ta thay đổi ý định và chạy về kinh đô Nghiệp thành (鄴城, nay thuộc Hàm Đan, Hà Bắc) vào khoảng tết năm 577, tướng Cao Mại (高勱) đã đón Thái hậu và Thái tử về Nghiệp thành. Tin tưởng vào lời của những nhà chiêm tinh về điềm báo rằng ngôi vị hoàng đế cần phải thay đổi, Cao Vĩ đã quyết định truyền ngôi lại cho Cao Hằng, và vào mùa xuân năm 577, vị hoàng thái tử nhỏ tuổi đã đăng cơ làm hoàng đế, Cao Vĩ vẫn nắm quyền lực trên thực tế và trở thành Thái thượng hoàng.