Вы только со стыдом не перебарщивайте .Вы живой человек и не должны стыдиться того, что испытываете нормальные человеческие эмоции.Это пусть он перед вами извинится за то, что поставил вас в такое двусмысленное положение,  не реагировал на ваши слова, пока вы совсем не занервничали и да основания (а они у вас и сейчас есть) ему не доверять.