If restricted to a few bricks this may not be serious but walls can be weakened by general crumbling across either face.
Os mai dim ond ychydig o frics sydd i'w gweld yn dioddef, efallai nad yw'n broblem ond gall olion malu ar y naill wyneb neu'r llall olygu bod y wal yn gwanhau.