Ekteskapet med P.S. Krøyer var stormfullt. I 1902 traff Marie den svenske komponisten Hugo Alfvén på Sicilia. Krøyer ville ikke gi Marie skilsmisse før i 1905, da Marie ble gravid med Alfvén og fødte datteren Margita Alfvén. Dette ble ansett som en stor skandale, og Maries ekteskap med Hugo Alfvén ble først inngått i 1912, etter P.S. Krøyers død. Marie bosatte seg i Stockholm sammen med Alfvén og sine to døtre, i det nybygde Alfvénsgaard. Også Maries annet ekteskap ble stormfullt. I 1928 søkte Hugo Alfvén skilsmisse, noe Marie motsatte seg, og paret ble først skilt i 1936. Skilsmissetvisten dreide seg i stor grad om hjemmet Alfvéngaard, som det var Marie som i første rekke hadde satt sitt preg på. Ved skilsmissen tilfalt boligen datteren Margita.