Я помню, мама говорила, так нищие делают. Мое обьяснение такое: когда смахиваешь крошки ладонью в ладонь, после этого можно их отправить в рот, если голодный. А тряпку в рот явно вытряхивать не будешь. Т.е. сметание крошек со стола не ладонью означает, что в семье не голодают, не нищие.