Я бы в грубой форме его отшила. Кто пригласил  - тот и платит. Здесь все равно он пригласил в итоге. Вы могли вполне на свидение с мужчиной придти без денег, это нормально. Надо было просто его поведения, молча встать и выйти из за стола и из кафе, даже не оправдываясь что вам надо позвонить, маму приплели, сами стали набирать номер. Зачем это все? Молча встали и направились к выходу. Если бы он стал быковать, есть полиция и охрана заведения. Если бы вас пытался силой задержать, это вообще уже статья. Вы женщина, вы вправе вставать и уходить, молча.