Вы непоследовательны. Вот и все. Грубо говоря, сами не знаете, чего хотите. Когда хотят вернуть отношения, то действуют аккуратно, а не на всем скаку на горячую голову. Вы уж решите: либо обвинять его какая он сволочь, либо вернуть и начать сначала.