Приглашены только ваша семья и мама? Если нет, и будут еще дети - ровесники именниницы, то ваше присутствие или отсутствие ничего не решит - ну не можете, ок.  Вежливо еще раз поясните, что к величайшему сожалению с работы в этот день не отпроситься. Если приглашены только вы, то выбор места тем более странный, тоже поясните, что увы, тут никак. Вежливость в этом случае может смениться недоумением. Что они и мама хотели  сказать - что вам надо отпрашиваться с работы за свой счет и терять день зарплаты? Тогда ок, мы придем, но без подарков, это слишком дорого для нас.