Im Jahr 1847 kam Melvin Baldwin mit seinen Eltern nach Oshkosh in Wisconsin. Dort besuchte er die öffentlichen Schulen. Danach studierte er bis 1855 an der Lawrence University in Appleton. Baldwin studierte auch noch Jura, ohne jedoch juristisch tätig zu werden. Stattdessen engagierte er sich im Eisenbahngeschäft. Bis 1861 arbeitete er für die Chicago and North Western Railway. Während des Bürgerkrieges stieg er in der Armee der Union bis zum Hauptmann auf. In Gettysburg geriet er im Juli 1863 in Kriegsgefangenschaft. Die folgenden 18 Monate verbrachte er in verschiedenen Gefangenenlagern der Konföderierten. Darunter war auch das berüchtigte Libby-Gefängnis in Richmond (Virginia).