"Vad jag än gjorde, kände jag alltid att jag kämpade en förlorande strid," sade han.
Men Burgess sade att han inte hade blivit illa behandlad av England och vägrade att skylla på tränare Stuart Lancaster.
Den 26-årige, som gick med i Bath i oktober, omsignerade för South Sydney Rabbitohs förra veckan.
Han var en del av Englands trupp för rugby-VM, där de eliminerades i gruppstadiet, och spelade i värdarnas avgörande 28-25 nederlag av Wales.
Burgess sade att kritik riktad mot honom efter hans framträdande i den matchen hade bidragit till hans känsla av oro i rugby facket.
"Många människor utanför Englands läger hade en agenda mot både England och, under vissa omständigheter, mig", skrev han i Daily Mail.
"Detta var en upprörande faktor för mig, att människor som är tänkta att älska spelet faktiskt riva den i strimlor.
"Några före detta spelare bara fortsatte att låta Rip. Det är nästan som om de inte vill att någon annan ska göra bra ifrån sig i tröjan. Jag ville inte stanna i en sådan sport."
Burgess sa också att han inte hade hittat 15-man koden lika roligt som rugby ligan.
"Jag vill spendera resten av min karriär spelar spelet som är i mitt hjärta", sade Burgess, som spelade 21 matcher för Bath som en blind-side flanker efter att byta koder förra året.
"Det som får mig att älska [rugby liga] är den fysiska striden om det; jag fann aldrig att jag nådde den punkten [i förening].
"Mitt hjärta är helt enkelt inte i [rugby union], och om mitt hjärta inte är i det då [Bath och England] kommer inte att få de bästa föreställningarna från mig."
Han sa att han var nöjd med sina uppvisningar på VM och trodde coach Lancaster hade blivit orättvist kritiserad efter lagets tidiga utträde.
Burgess, vars val till VM-truppen före den etablerade Luther Burrell enligt uppgift orsakade oro i Englandlägret, sade att hans beslut att sluta facket hade förfärat hans internationella och klubblagskamrater.
"Jag ville gå in och se [Bath truppen], men Stuart Hooper, vår kapten, sade att han inte trodde att jag skulle bli väl mottagen där, vilket var rättvist nog", sade han.
Före detta England centrum Sam Burgess återvände till rugby ligan eftersom hans "hjärta inte var i" rugby fack och eftersom han var också stucken av kritik från före detta spelare.