Не вижу чтобы он вам грубил-он вполне себе вежливо изложил проблему.Предложите ему найти выход из сложившегося положения-может быть сделать звонки менее явными,может быть перейти на смс- пояснив,что ВЫ со своей стороны не можете быть спокойны,не зная где он и потому- практику сообщений подобного рода будете сохранять.