Не хватает совместной с Вами деятельности, благодаря которой он бы нашел, чем и как он может продуктивно заниматься без Вас. Можно и не быть постоянно рядом, но видеть положительную динамику в развитии ребенка и знать, куда  и как его следует направить в случае возникновения проблем, которые Вы описываете.Это не упрек, это констатация факта.