Solange die Latenz im akzeptablem Bereich ist, spielt sie für Video-Streaming tatsächlich nur eine geringere Rolle. Der Grund dafür liegt im sogenannten Buffering. Dein Video wird dabei immer stückchenweise vorgeladen, auch wenn Du noch gar nicht so weit bist. Dadurch hat der Video-Player einen Sicherheitspuffer und kann auch größere Latenzen ausgleichen, indem er früher anfängt vorzuladen.
Bei Live-Streams stellt die Latenz hingegen ein Problem dar, da hier kein vorsorgliches Buffern möglich ist.