На этом я бы закончила отношения с этим мужчиной, ну или у него были бы серьезные проблема, т.к. он отпустил вас домой одну. Как вариант, мог бы сесть в машину и уехать вместе с вами, но он остался с женой.Хотя, не понимаю, на что вы рассчитывали, они 4 года не живут вместе, но он остается ее муэем, а вы любовницей.ИМХО, Вы виноваты, Но в  том что вообще согласилисьна связь с женатым он в том. что допустил эту ситуацию, не оберегал Вас.