Målningen, som hade varit utlånad på Nationalgalleriet i 30 år, riskerade att säljas utomlands.
"Det är en av de väsentliga bilderna av 19th century brittiska konst och det är värt varje öre," Tate Britannien direktör Nicholas Serota berättade BBC.
Arbetet kommer att visas på Tate Britannien fram till slutet av året innan man reser runt i Storbritannien.
"Detta är en av Constables viktigaste målningar," Sir Nicholas berättade BBC: s Will Gompertz. "Han betraktade det som ett av sina mästerverk och ville alltid att det skulle finnas i den nationella samlingen."
Salisbury Cathedral från Meadows förvärvades för £ 23,1m, men kunde ha sålt för så mycket som £ 40m på auktion.
Av Will GompertzArts redaktör
£23,1m kan vara ett rekord för en konstapel men det är värt varje öre: ett fynd jämfört med vad som betalas för någon andra klass modern konst.
Det är utan tvekan det mest fulländade verket av en av de finaste, mest spännande konstnärerna under den romantiska perioden.
Den "ikoniska" bilden målades kort efter hustruns död och säkrades genom stora bidrag från Heritage Lottery Fund, Art Fund, The Manton Foundation och Tate Members.
Såld av barnen till den framlidne Lord Ashton av Hyde, var arbetet i riskzonen för att åka utomlands om Tate inte hade kunnat sätta ihop pengarna.
"Jag vet att det fanns ett stort amerikanskt museum som bad om första vägran", sade Sir Nicholas.
Förvärvet ingick i ett partnerskap mellan fem nationella och regionala gallerier: Amgueddfa Cymru - National Museum Wales; de nationella gallerierna i Skottland; Colchester och Ipswich Museums; Salisbury och South Wiltshire Museum; och Tate Britannien.
Partnerskapet kommer att göra det möjligt för arbetet att fortsätta med "nästan konstanta" synsätt i hela Förenade kungariket.
Jenny Abramsky, från Heritage Lottery Fund, sade att de var "stolt" att vara en stor finansiär av mästerverket med en investering på 15 miljoner pund.
"Det är ofattbart att just denna målning kan ha hamnat någon annanstans än i en brittisk offentlig samling", sade hon.
Constable's The Lock blev en av de dyraste brittiska målningarna som någonsin sålts när den hämtade 22,4 miljoner pund på auktion i juli 2012.
Salisbury Cathedral från Meadows är en av en serie monumentala sex-fots dukar målade av konstnären, en skala han reserverat för sina finaste kompositioner.
John Constable's 1831 mästerverk Salisbury Cathedral från Meadows har köpts av Tate för £ 23,1m.