Firmaet ble grunnlagt av den tysk-fødte Johannes Gütgemann. Han flyttet til England og endret navnet sitt først til John Taylor, så til John Goodman i 1911 etter å ha fått britisk statsborgerskap. Han var i sykkel-bransjen og etablerte selskapet Taylor, Gue Ltd sammen med William Gue - en annen sykkelreparatør. De bygde sykkelen samt sykkel-rammer og -deler. I 1905 bygde de en motorsykkel med 500 kubikkcentimeters sideventilert motor og ga den navnet (veloce er italiensk og betyr ). Motorsykkelen ble ingen suksess, og selskapet ble nedlagt noen måneder senere. John Goodman hadde beholdt rettighetene til navnet, og i 1905 etablerte han selskapet på egen hånd. I 1906 bygde sin første motorsykkel - som også ble kalt . I 1912 begynte de produksjon av sin første motorsykkel med egenprodusert motor. Det var en 2,5 hestekrefters 276 cm firetaktsmotor med innsugsventilen i toppen og eksosventilen på siden. I en tid da drypp/plaske-smøring var normen, hadde Veloce-motoren trykksmøring.