Так вы и договаривайтесь сначала сходить куда-нибудь вместе. В ближайший парк/сквер, на новую-соседнюю детскую площадку, на детский спектакль, в кафе... Уже кода поближе познакомитесь - можно и в гости. А хотите пригласить - пригласите в конкретный день по конкретному поводу, конечно лучший из них - детский день рождения, но можно и еще что-нибудь придумать. А так действительно ваше приглашение рассматривают как абстрактное - так же абстрактно и отвечают.