Не соглашайтесь. Проще один раз пережить конфликт, чем потом, согласившись, мучиться неизвестно сколько лет. Ни на какую квартиру он не уйдет, тянуть на себе весь быт не будет. Побухтит и успокоится. Если чувствуете, что вам такая ноша не по силам, твердо стойте на своем. Реальной причины для переезда мальчика к вам я тоже не вижу, мало ли что хочет БЖ.