В магазин вы тоже с шофёром ходите? Назначьте встречу рядом с вашим домом где-то, "пойдите в магазин". В случае чего скажите, что встретили подругу, например, которую не видели давно, и зашли посидеть в кафе. Ну либо, если уж вы совсем не можете врать(хотя сразу тут всю правду выкладывать - это совершенно не разумно), скажите мужу , что прилетает ваш давний друг, просто друг одноклассник, который уже давно не был на родине и вы идёте встретиться не вдвоем, а компанией друзей. Ваш шофёр за вами шпионит что ли? Он не может вас привезти, потом забрать?