Im Revolutionsjahr 1848 wanderte Gustav Finkelnburg mit seiner Mutter und einigen Brüdern nach Amerika aus, der Vater und ein Bruder (Carl Maria) wollten später nachkommen. Die Familie ließ sich in Saint Charles (Missouri) nieder, wo er das dortige College besuchte. Seine Mutter und ein Bruder kehrten nach wenigen Jahren nach Deutschland zurück. Nach einem anschließenden Jurastudium an der Cincinnati Law School in Ohio und seiner 1860 erfolgten Zulassung als Rechtsanwalt begann er in St. Louis in diesem Beruf zu arbeiten. Während des Bürgerkrieges diente er im Heer der Union.