Med arkitekt Melanders hjelp lot Sørensen i 1887 oppføre Torreby slott på Torreby i Munkedal kommune, som ligger i Västra Götalands län ikke langt fra Göteborg. Melander tegnet slottet i en romantisk, nygotisk stil. Det hadde tjuefire rom og kostet 100 000 kroner å oppføre. Dette var også en stor gård, drevet som et mønsterbruk med spesielle kyr importert fra øya Jersey. Etter Sørensens død i 1917 ble Fersenska palatset solgt til hans firma , mens Torreby Slott ble overtatt av hans tre sønner som måtte selge det ut av familien i 1948.