Да я то вас понимаю, понимаю, что вы не против его семьи в принципе. А вот он похоже не понимает и не дорожит вами. Поэтому и предлагаю попробовать лишить его вашего внимания, и тогда возможно, что встреча с вами станет для него важнее других дел. Можете сказать прямо - выходные мы вместе, все дела - в будни, иначе расход.