로타르 1세
그러나 세월이 흐르면서 프랑크 황제에 대한 교황의 의존성은 루트비히 1세와 그의 세 아들인 로타르 1세, 피핀 1세, 루트비히 2세 간의 반목과 다툼이 일어나면서 약해졌다. 829년 루트비히 1세는 817년 협정을 파기하고 제국을 양분하여 자신의 어린 막내아들 카를에게 로타르 1세와 루트비히 2세의 영지를 일부 떼어주고 왕으로 세우기로 결정하였다. 이 같은 황제의 결정에 대해 그레고리오 4세는 프랑크 주교들에게 보낸 서신에서 비판하였다. 루트비히 1세와 그의 아들들 간에 잠시 분쟁과 화해가 있은 지 다음해에 그레고리오 4세는 강제로 수녀원에 들어간 루트비히 1세의 두 번째 아내인 유디트가 풀려나, 루트비히 1세에게 돌아가야 한다는 입장을 밝혔다.