Так вы себя оба одинаково ведете: у вас нет времени на него, вы "в семье", а он ждет общения.И наоборот, у него появилось время на семью, он вышел из общения, а вам его подавай.Введите правило: никакого общения вне совокуплений, встретились, удовлетворились, разошлись, до следующего раза.Тогда будет спокойно и просто.