Ну ясно же, что встречаются они у него. И автор в глубине души хочет, чтобы он позвал её жить вместе (разумеется у него). При наличии детей в его квартире ни то ни другое будет невозможно. И мужик не может этого не понимать. Т. Е к автору относится как к малозначимой связи, а не подруге жизни