Do politiky vstoupil Rataj po konci první světové války. Stal se členem Polských lidových stran "Piest" a "Wyzwolenie". V letech 1920 – 1921 byl ministrem náboženství a veřejného vzdělávání a v roce 1921 také úřadujícím ministrem kultury a umění v první vládě Wincentyho Witose. Když byl v prosinci roku 1922 zavražděn polský prezident Gabriel Narutowicz, stal se Rataj jeho dočasným nástupcem. Roku 1926 se jím stal opět po odstoupení Stanisława Wojciechowského během Květnového převratu.