вы вот пишете, что у вас материальное положение намного лучше, чем  у него, что вы его рассматриваете как временный вариант, что он у ва свроде как угол снимает -  вот вам и ответ. его жрут комплексы, как только разрушается ваш тет-а-тет и вокруг появляются люди. Он понимает, чтО все думают, когда смотрят на вас и на него.