Мы используем собственную базу. Парсеры обходят страницы и при нахождении внешних ссылок добавляют их в базу.