Вы абсолютно правильно начали. Еще желательно собрать все имеющиеся документы (или их копии): свидетельства о рождении, браке и смерти. А дальше в зависимости от того, какой информацией вы владеете. Наверняка древо по родственникам, которые жили в 20-м веке, вы уже составили после опроса своих родителей или бабушек/дедушек. Чтобы составить древо в "глубь веков" надо определить место, где жили ваши предки в начале 20 века. Эта информация может быть либо в свидетельстве о рождении бабушек/дедушек (если сохранилось) либо свидетельстве о браке. Дальше вам нужно искать информацию в архиве, в котором хранятся метрические книги и ревизские сказки по вашему селу, городу. Если ваши предки из города, то желательно знать район города, в котором они жили, потому что в городах количество церквей больше одной. Искать по всем затруднительно.  Мне сложно давать советы, не зная какой информацией вы уже обладаете и какую хотите узнать. Имейте ввиду, что по некоторым областям метрические книги можно посмотреть и интернету (это будет указано на сайте конкретного архива).