Virksomheten ble grunnlagt i 1906 av Peder Andersen Fisker (1875–1975) og Hans Marius Nielsen (1870–1954) som . Opprinnelig produserte virksomheten elektromotorer, som senere ble grunnlaget for en rekke produkter som støvsugere, ventilatorer, vifter, slipemaskiner, bormaskiner og sågar motorsykler (av merket Nimbus_(motorsykkel)). Gennombruddet ble Nilfisk-støvsugeren, som så dagens lys i 1910. Fisker patenterte oppfinnelsen, og overtok senere hele virksomheten ved å kjøpe ut Nielsen. Det ble støvsugeren, som ble den store suksessen, og gradvis forsvant de øvrige produktene ut av sortimentet. Etterhånden begynte virksomheten også å produsere industristøvsugere. I 1954 rundet Nilfisk en milepel – da hadde de solgt 1 million støvsugere.