大丈夫です。見た目が悪くなるということはありますが、もともと石粒を付けている目的としては傷がつきづらくするためのものですので、すぐに手を打たなければいけないというわけではありません。ただ、寿命を長くするために、定期的に塗装を行い屋根材自体と石粒の保護を行う必要があります。