Jeremiah Rusk besuchte die örtlichen Schulen seiner Heimat und leitete nach dem frühen Tod seines Vaters die elterliche Farm in Ohio. Dann zog er nach Viroqua in Wisconsin, wo er eine Gaststätte und eine Postkutschenlinie betrieb. Im Jahr 1855 wurde er zum Sheriff im heutigen Vernon County gewählt. 1861 wurde er Abgeordneter in der Wisconsin State Assembly. Bei Ausbruch des Bürgerkrieges stellte er ein Freiwilligenregiment für die Unionsarmee zusammen. Mit dieser Einheit war er unter anderem an der Belagerung von Vicksburg 1863 und der Einnahme von Atlanta im Jahr 1864 beteiligt. Bis zum Ende des Krieges hatte es Rusk bis zum Brigadegeneral gebracht.