Настройте себя так, чтобы это не было невыносимо. Не берите на себя ответственность за его чувства и обиды. Предупредите, что вы больше не будете обижаться на его молчанки. Он, конечно, может молчать, если хочет, а вы будете заниматься своими делами. И просто расслабьтесь на эту тему, вопрос закрыт. Можно еще сказать ему, чтобы сообщил, когда выйдет из этой своей (не вашей) игры и вернется к вам. А вы тут, рядом, с вами все в порядке и вы на него не дуетесь за его молчание. Просто не собираетесь страдать. Получится?