Hye opplevde flere angrep fra Silla og Goguryeo. Silla okkuperte dagens Seoul og hadde direkte handelsforbindelse med Kina. Baekjes kommersielle posisjon langs Gulehavet var nå dominert av Goguryeo, handelsstasjonene i Kina var tapt til Sui-dynastiet og Japans politiske sentralisering reduserte Baekjes innflytelse der også. Nedgang i handel og innflytelse økte de interne spenningene blant de ledende i landet.