在蘇聯軍隊發動維也納攻勢後並於1945年4月佔領維也納後，謝爾夫成為重建的奧地利社會黨代理主席並加入總理卡尔·伦纳的民族團結政府。謝爾夫、卡尔·伦纳、保守派的、共產黨的共同組成奧地利第二共和國的過渡內閣。在1945年議會選舉中，沙爾夫成為復立的國民議會議員。沙爾夫一直到1957年作為奧地利社會黨和保守派奧地利人民黨大聯合政府(奧地利共產黨在1947年後不再為大聯合政府一員)中的副總理，其擔任期間期間政府總理有利奧波德·菲格爾和繼任的尤利烏斯·拉布。