Pierwszy sukces w karierze Herman Van Loo osiągnął w 1962 roku, kiedy zdobył srebrny medal w indywidualnym wyścigu na dochodzenie podczas torowych mistrzostw świata w Mediolanie. W zawodach tych wyprzedził go jedynie Duńczyk Kaj Jensen, a trzecie miejsce zajął Jacob Oudkerk z Holandii. Taki sam wynik Van Loo uzyskał na rozgrywanych dwa lata później mistrzostwach świata w Paryżu, tym razem ulegając jedynie Holendrowi Tiemenowi Groenowi. W 1964 roku brał również udział w tej konkurencji na igrzyskach olimpijskich w Tokio, kończąc rywalizację na dziewiątej pozycji. Startował także w wyścigach szosowych, wygrywając między innymi wyścig Gandawa - Ypres w 1964 roku oraz kryteria w Waregem w 1965 roku, Wingene w 1966 roku i Oostrozebeke w 1967 roku. Zdobywał także medale mistrzostw kraju, zarówno w kolarstwie torowym jak i szosowym, w tym złoty w indywidualnym wyścigu na dochodzenie w 1964 roku.