Раз Вы достаточно долгое время его знаете, то, думаю, ничего страшного спросить напрямую. Сказать: "Получается довольно двусмысленная ситуация: я, замужняя женщина иду с Вами гулять, пусть даже и с ребенком. Вы не находите?" А там уже по ситуации решите, что ответит. Обычно сразу видно по мимике и жестам, так сказать.