Bristen på BHS och hård konkurrens på klädmarknaden bidrog till den dåliga prestandan.
En rapport inlämnad till Companies House av Taveta investeringar visade före skatt vinster för 12 månader till 27 augusti 2016 minskade till £ 36,8 miljoner, ner från £ 172,2 miljoner föregående år.
Den totala försäljningen minskade med 2,5 % till 2,02 miljarder pund.
Taveta är Arcadias holdingbolag som tillsammans med sitt största varumärke, Topshop, äger Miss Selfridge, Burton, Evans, Wallis och Dorothy Perkins.
Tavetas uttalande visar att dess vinst minskades med 29,2 miljoner pund i engångsavgifter.
Dessa exceptionella kostnader inkluderade £ 26.4m relaterade till kollapsen i administrationen av BHS i april förra året, och "efterföljande regleringsundersökningar", sade det.
Taveta gjorde också en £ 21,8 miljoner provision för "enerous" hyresavtal på förlustbringande butiker förra året.
Den sade att dess ekonomiska resultat var "under föregående års nivåer".
"Detaljhandeln fortsätter att uppleva en period av stora förändringar när kunderna blir alltmer selektiva och värdemedvetna och framsteg inom teknik öppnar upp mer varierande, snabbt föränderliga och komplexa försäljningskanaler.
"Klod har också blivit en mindre viktig del av hushållsbudgeten", tillade det, ekar nyligen uttalanden gjorda av andra High Street modekedjor.
Under tiden, Taveta sade Brexit hade orsakat ekonomisk osäkerhet och nedgången i sterling hade bucklat sina resultat.
"Gruppen tittar på initiativ för att förbättra marginalen för att kompensera den pågående effekten av svagare pund."
Marknadsförhållandena fortsatte att vara "betonade och mycket konkurrenskraftiga", med nya aktörer som kommer in på marknaden, särskilt online, och fortsatte.
Och även om arbetslösheten i Storbritannien var låg och tillgången på konsumentkrediter fortsatte att öka "påverkar den långsamma ökningen av genomsnittslönerna kundernas köpkraft".
Den sista BHS-butiken stängde sina dörrar förra året när ingen köpare kunde hittas för kedjan.
Det fanns en uppskattad £ 571m hål i BHS pension som täcker alla framtida utbetalningar. Potentialen att ta på sig en sådan börda sågs som en av anledningarna till att BHS inte lyckades hitta finansiärer eller köpare för verksamheten i en helhet.
I februari i år kom Sir Philip överens om en kontantuppgörelse på 363 miljoner pund med pensionsregleraren för att fylla luckan i BHS pensionssystem.
Avtalet innebär att arbetstagarna kommer att få samma startpension som de ursprungligen utlovades.
Vinsterna på Sir Philip Greens detaljhandelsimperium, som inkluderar High Street modekedjan Topshop, sjönk med 79% förra året.