Не держите все в себе, так тронуться не долго. Разговаривайте с ним на эту тему. В конце концов самое страшное, что может при этом произойти это то, что он пропадет, совсем исчезнет - вот тогда хотя бы будет точная ясность, пусть и печальная, но какая то определенность. А в лучшем случае в  ваших отношениях появиться определенность, он поймет, что вам это необходимо и если готов продолжать серьезные отношения, все сделает для того, чтобы дать вам уверенность в своих чувствах. Так что действуйте - не замалчивайте проблему.