Gaslighting. Навешивает на Вас чувство вины и манипулирует. Он не идиот, чтобы не понимать, что происходит и в каком Вы положении. И то, что жена бывшая его так травмировалась тоже манипуляция, детский сад же, послушайте себя. Нечего бояться либо говорите все в лоб, либо начинайте на первый взнос тихо деньги откладывать.