Для начала развестись. Показать, что это не мелкая угроза, а факт - вы больше не муж и жена. Дальше, через суд определить дни, когда он может приезжать (не когда сочту нужным приду, и когда сочту нудным уйду), сколько, на чьей территории. Если не уймется, можно пересматривать решение суда. Но до этого вообще может не дойти, в первую очередь надо развестись, чтобы воспринял наконец всерьез сложившуюся ситуацию.