Skarvene ble tidligere regnet til ordenen pelikanfugler (Pelecaniformes), men regnes nå til sulefugler (Suliformes). Skarvenes nærmeste nålevende slektninger er trolig slangehalsfuglene (Anhingidae), som regnes som en søstergruppe. De hadde trolig en felles forfar som levde for omkring 30 millioner år siden eller mer. Skyggefuglens plassering i systematikken har vært usikker, og den har vanligvis hatt sin egen familie, men AOU mente den var en del av pelikanfamilien. HBW Alive plasserer den imidlertid i sin egen familie, noe kladogrammet nedenfor også reflekter.