А что тут непонятно - он показывает свою незаинтересованность в Вас. Это неуважение, если не хамство. Манипулятор он. Вот это и задевает, и совершенно нормальная реакция и эмоции! Тут либо разговаривать и открыто сказать - мне неприятно, когда ты весь вечер отвлекаешься на телефон. Либо расставаться.