Вполне возможно, что из-за этого вы и не находите общего языка.  Отдайте его папе, по договоренности с папой, и проговорите проблемы и с ребенком, и с папой.  Если РЕБЕНКУ там будет лучше, то пусть будет так, закладывается судьба РЕБЕНКА.