Op sy elfde verjaarsdag word Colt na 'n plaas in Glastonbury gestuur om te werk en by 'n nabygeleë skool te studeer. Hier maak hy kennis met die wetenskaplike ensiklopedie Compendium of Knowledge, waarin hy onder andere oor Robert Fulton en buskruit te wete kom. Hierdie inligting sou 'n belangrike rol in die res van sy lewe speel. In 1829 begin hy op sy vader se tekstielplantasie in Ware werk. Hier maak hy, met die kennis wat hy opgedoen het, sy eie galvaniese sel.
In 1832 keer Colt terug na die Verenigde State. Aanvanklik werk hy weer vir sy vader, maar later besluit hy om deur Amerika te reis en kos te verdien deur demonstrasies met 'n mobiele laboratorium en laggas te doen. Dieselfde jaar verbeter hy sy idee vir 'n rewolwer, en in 1835 registreer hy 'n patent in die Verenigde Koninkryk (patent nommer 6909). Vervolgens reis hy na Frankryk om sy uitvinding te bemark. Met sy terugkeer na die Verenigde State registreer hy nog 'n patent vir 'n nuwer rewolwer (patent 9430X).
Colt bevestig self dat hy nie regtig die rewolwer uitgevind het nie, maar eerder 'n model vir 'n vuurwapen wat deur Elisha Collier uitgevind is verbeter het. Colt wou hê dat onderdele van sy rewolwer onderling uitgewissel kon word en dat dit met 'n masjien vervaardig kon word om die koste laag te hou.
Later koop Colt 'n stuk grond aan die Connecticut-rivier en rig 'n groter fabriek, genaamd die Colt Armory op. Hy reël vir sy personeel 'n 10-uur werksdag met 'n uur etenstyd tussenin. Hy rig ook vir hulle 'n klub naby die fabriek in. Op 5 Junie 1856 trou hy met Elizabeth Jarvis.
Met die uitbreek van die Amerikaanse Burgeroorlog is Colt deur die staat Connecticut as 'n kolonel aangestel. Sy eenheid was egter nooit in enige gevegte betrokke nie. Op 20 Junie 1861 is hy uit die weermag ontslaan.