В этом вся ваша проблема. "Жена- она как родня, а родствнеников не ипут" (с). Похоже, он видит в вас близкого человека, но не женщину. А вы позволяете ему так себя вести с вами. Ну ответьте ему хоть раз очень грубо, чтоб заткнулся.