Не ходите конечно, раз не хотите. Скажите, что придете, но можете и опоздать, потому что есть причина. А причину имеете право не уточнять мало ли что у Вас, всякое бывает - что, всем рассказывать? а потом, в день встречи, позвоните и скажите, что задерживаетесь дольше запланированного, поэтому уже не успеете.