I likhet med resten av Flo-klanen begynte Håvard Flo fotballkarrieren i Stryn Fotball, og han dro deretter til Sogndal. I 1995 gikk han til den danske klubben AGF Aarhus, og han spilte senere i tyske Werder Bremen og engelske Wolverhampton. I sistnevnte klubb fikk Flo aldri langvarig tillit, og han gikk gratis tilbake til Sogndal sommeren 2002 hvor han spilte siden.