De stammer fra Wetigau og var blant Øst-Sachsens viktigste familier på Karl den stores tid. Den første Billung som er kjent ved navn er grev Wichmann Billung (Wychmannus comes) som skal ha ført forhandlinger ved elven Eider i 811. Wichmann II var greve i Hamaland og hans sønn, grev Egbert (-932) er antagelig Hermann Billungs bestefar. Grev Egbert fikk områder i Bardengau av kong Arnulf av Kärnten. Andre medlemmer av familien er Billung som via sin datter Oda (død 913) og hennes ekteskap med grev Liudolf av Sachsen (død 866) ble Liudolfingernes stamfar. Oda av Billung var farmor til keiser Otto I av det tysk-romerske rike.