У вас есть возможность прицельно выделить это время для "вдвоём"? Хоть даже по расписанию? Чтобы вы могли себе после этого времени "выписывать индульгенцию", что хорошее совместное время у вас есть. Потом расширять область общения, смотреть пристально, где вы ещё можете с ним расслабиться, и он вас не бесит. Постепенно время, которое он бесит, как бы уводя на "нет", вы сами от себя будете получать кайф, что вы МОЖЕТЕ с ним иначе, а это уберёт чувство вины и ощущения, что такого времени. когда он вас НЕ раздражает - его мало, а вы в это время "плохаямать".