Вы похоже попали в самую точку "Приехав домой тут же полез зачем-то в мой телефон" Значит ваше поведение было совершенно правильным, зацепили вы его крепко  А вот то, что вы ему позволяете так копаться в своем телефоне, не есть гуд. "Чего-то человеку со мной в отношениях явно недостает". Видимо, драйва )))))))