Могу сказать только одно, чем реже вы будете встречаться, тем меньше у вас будет тем для разговора, и наоборот. Попробуйте все таки встречаться на регулярной основе. Выделите маме определенное время, например 1 час в неделю по субботам (или когда у вас там время есть). Она вам о бадах, вы ей о внуке, кофе-пироженое, вот и час прошёл. И маме приятно, и вам ненапряжно.