Eremitter er ei basal gruppe med kolibrier, og det er sterk støtte i bevismaterialet for at eremittene er søstergruppen til topazene (Florisuginae). Linjen som førte til dannelsen av topazer og eremitter oppsto for omkring år siden (), sannsynligvis i sentrale lavereliggende strøk i Sør-Amerika. En tidligere studie ga svake beviser for at topazene kunne være søster til alle andre kolibrier.