Ну тут такое. Лучше просто игнорировать. Успокаивать нет смысла. И думать "а почему он так говорит" - тоже нет смысла. Если в остальном все нормально - то попробуйте просто пропускать мимо ушей или переводить разговор на другую тему.  Если не помогает - то наверное, пора расставаться. "Которые без денег - не ездют с дамами" (с)