ペナルティではないため、目に見えて分かるほどの悪い影響を及ぼすことはありません。
しかし、コンテンツ内容に問題がある可能性が高いため、放置しておくとサイト全体の評価を落とすことにも繋がります。