Elias måtte forsvare patentet sitt i 1854, fordi da han kom tilbake til USA fra en tur i Europa, fant han ut at Isaac Singer hadde forbedret hans maskin og startet en konkurrerende bedrift. Elias måtte kjempe for å tjene en andel av det Singer tjente. Elias gav mye av det han nå tjente til amerikanske hæren. Under borgerkrigen i USA måtte Elias kjempe i hæren fra 14. august 1862 til 19. juli 1865. I 1865 stiftet han firmaet Howe Machine Company i Bridgeport, Connecticut. Hans symaskin vant gullmedalje på Paris-utstillingen i 1867. Både Elias Howe og Isaac Singer døde som mange-millionærer.