в разговорной речи допустимо использование среднего рода, это не считается ошибкой. Однако для тех, кто стремится к грамотной и чистой речи, эта допустимость не должна значить ровным счетом ничего: более правильным считается использование мужского рода в устной речи. В письменной речи средний род для «кофе» в принципе недопустим.