Opphavet til denne slekten regnes som Skjalm Hvide, død ca. 1113, som var en sjællandsk høvding. Den første personen som nevnes i forbindelse med Hvide-slekten er imidlertid stormannen Toke Trylle, sønn av (Slag Hvide), som var hedning. De tidligste sparsommelige kildene omtaler Toke Trylles voksendåp på 1000-tallet. Tidligere tiders historikere mente at Hvide-slekten nedstammet fra sagnhelten Palnatoke, som kjennes fra , men denne bakgrunnen er noe uklar. Slekten går omkring år 1300 opp i andre adelsslekter, men mange nålevende dansker og nordmenn med annen adelsbakgrunn kan angivelig føre sine aner tilbake til denne berømte slekten.