Trị vì 
Thiếu hoàng đế đã không trị vì được lâu do quân Bắc Chu ngay sau đó đã tiếp cận Nghiệp thành. Thay vì biến kinh đô thành một chiến trường tối hậu như Cao Mại đề xuất, Cao Vĩ đã quyết định chạy từ Nghiệp thành xuống các châu ở bờ nam Hoàng Hà, cố gắng tái tổ chức quân lính, và sẽ chạy trốn đến Trần nếu thất bại. Với ý định này, Cao Vĩ trước tiên cho đưa Thái hoàng thái hậu, Thái thượng hoàng hậu, và Cao Hằng đến Tế châu (濟州, nay gần tương ứng với Liêu Thành, Sơn Đông). Ngay sau đó, Cao Vĩ bỏ Nghiệp thành và đến Tế châu với gia đình. Khi đến nơi, ông ban một chiếu chỉ nhân danh thiếu hoàng đế để tiếp tục truyền ngôi lại cho thúc phụ Nhâm Thành vương Cao Giai (高湝), song thánh chỉ đã không đến được chỗ Cao Giai do Hộc Luật Hiếu Khanh (斛律孝卿) đã đầu hàng Bắc Chu sau khi rời khỏi Tế châu. Thánh chỉ này cũng trao cho Cao Hằng có một tước hiệu khác, song tước hiệu này được ghi chép khác biệt trong sử sách:. Bắc Tề thư ghi đó là "Thủ quốc thiên vương" (守國天王). Tư trị thông giám thì ghi là Tống quốc thiên vương (宋國天王), và Tư trị thông giám âm chú của Hồ Tam Tỉnh thì cho đó là "Tông quốc thiên vương" (宗國天王).