Ничего страшного, просто поменьше молока тогда добавляй. Больше самого чаю. Во всяком случае, я делаю именно так, потому что у нас редкость в магазинах вообще - достаь обезжиренное или с минимальной жирностью молоко, только в крупных супермаркетах бывает.