Urodził się 8 grudnia 1828 w stanie Nowy Jork, jako syn Benjamina i Lydii Fisk. Dzieciństwo spędził w Michigan. Po ukończeniu szkół pracował jako bankier, agent ubezpieczeniowy i skarbnik. W 1848 roku poślubił Geanette Crippins. Karierę wojskową rozpoczął w Missouri pod koniec lat 50. XIX wieku. 26 lipca 1862 roku formalnie zaciągnął się do armii Unii, aby walczyć w wojnie secesyjnej. 5 września uzyskał stopień pułkownika. Po wojnie zaangażował się w rekonstrukcję kraju pełniąc funkcję m.in. zastępcy komisarza federalnego Biura ds. Uchodźców. Gdy w 1866 roku stan Tennessee został przywrócony do Unii, Fisk zaangażował się w tworzenie pierwszych szkół na południu dla czarnoskórych dzieci. Dzięki swojej działalności pierwsza szkoła w Nashville, została ostatecznie nazwana jego imieniem, po przekształceniu w uniwersytet w 1867 roku. Był jednym z osadników zakładających miasteczko Harriman. Służbę wojskową zakończył ze stopniem generała majora.