Im Jahr 1774 trat Baldwin in die Armee ein. In den Gefechten von Lexington und Concord befahl er als Major die Milizen aus Woburn, insgesamt 180 Mann. Zu Beginn des Amerikanischen Unabhängigkeitskriegs kämpfte er im 26. Kontinental-Regiment unter dem Befehl von Oberst Samuel Gerrish. Hier stieg er schnell zum Oberstleutnant auf. Nach Oberst Gerrishs Rücktritt im August 1775 wurde Baldwin zum Befehlshaber des Regiments und bald darauf zum Oberst ernannt. Bis Ende des Jahres 1775 blieben er und seine Männer in der Nähe von Boston, bevor sein Regiment im April 1776 nach New York City befohlen wurde. Hier kämpfte er mit seinem Regiment unter anderem in der Schlacht von Pell’s Point. Des Weiteren unterstützten sie George Washington und seine Armee bei der Überquerung des Delaware River nach New Jersey in der Nacht vom 25. und auf den 26. Dezember 1776 sowie in der Schlacht von Trenton am darauffolgenden Tag. Im Jahr 1777 trat Baldwin aus gesundheitlichen Gründen aus der Armee aus.