どちらも重要ですが、より優先した方が良いのは、質でしょう。
どんなに多くの被リンクが付いても、その中に質の悪い被リンクが交じるとサイト全体の評価が落ちます。
一度付けられた被リンクはコントロールが難しいため、後々ネックとなってしまうのです。
被リンクが少ないからといって、数だけ追ってしまうのは危険です。