18 июля, при сформировании новоизбранным правителем империи эрцгерцогом Иоганном фон Вессенберг-Ампрингеном имперского министерства, Шмерлинг получил в нём посты министра внутренних и иностранных дел. Когда в сентябре 1848 года национальное собрание отвергло Мальмеское перемирие с Данией, то недовольный этим Шмерлинг вышел в отставку, но после настойчивых просьб со стороны эрцгерцога согласился вновь вступить в министерство на пост министра иностранных дел. Непримиримость его вражды к Пруссии, однако, привела его в столкновение с товарищами по министерству, и 15 декабря 1848 г. он окончательно вышел в отставку. Незадолго до этого он был выбран в австрийский рейхсрат, на заседания которого он уехал в Кремзир, а по закрытии его в марте 1849 года опять вернулся во Франкфурт.