Floris var nest eldste sønn av grev Dirk III av Holland og Othelinde av Sachsen, datter av markgreve Bernhard I av Nordmark. Floris etterfulgte broren Dirk IV som greve av Holland og Vest-Friesland, da denne falt i kamp i 1049.