Affärsmannen från Essex vägrade behandla sin fru illa, som är i slutet av 70-talet, under ett förhör i Högsta domstolen.
Domstolens familjeavdelning hörde att kvinnan var rädd för sin man och hade vidtagit rättsliga åtgärder mot honom.
Domare Catriona Murfitt drog slutsatsen att kvinnan sannolikt skulle lida "betydande skada" om han stannade i huset.
Detaljerna i fallet kom fram efter det att mannen beordrades att lämna egendomen men fortsatte med att överklaga beslutet och sade att domen var "orättvist".
Mr Justice Baker avfärdade utmaningen och sa att han inte hade några utsikter att upphäva domare Murfitts dom.
Han sade att paret, som har två vuxna söner, inte kunde identifieras.
I sitt utslag sade Justice Baker att kvinnan hävdade "att hon under äktenskapets längd hade varit den känslomässiga bålsäcken för hans osäkerhet och frustration".
Hon sade också att han hade varit fysiskt skymfad mot henne ibland, och att han var en "extremt svår" man som hade varit otrogen och "försmådd i sitt beteende".
Domare Murfitt hade gjort en order som krävde att affärsmannen skulle "utrymma egendomen helt", sade Justice Baker.
"Hon ansåg att hustrun sannolikt skulle lida betydande skada om ordern inte gjordes och att den skada som hon skulle lida var större än den skada som mannen sannolikt skulle lida", sade han.
En 67-årig miljonär har beordrats av en domare att lämna sitt hem efter att hans fru sagt att hon hade använts som "en känslomässig punch bag".