Schon in seiner frühen Jugend zog Albert Anderson mit seinen Eltern nach Galesburg in Illinois. Dort besuchte er die öffentlichen Schulen einschließlich des Knox College. Im Jahr 1857 zog er in das Taylor County in Iowa. Nach einem anschließenden Jurastudium und seiner im Jahr 1860 erfolgten Zulassung als Rechtsanwalt begann er in Clarinda in seinem neuen Beruf zu arbeiten. 1861 wurde er von US-Präsident Abraham Lincoln zum Posthalter von Clarinda ernannt. Danach nahm er als Soldat der Unionsarmee am Bürgerkrieg teil. Dabei brachte er es bis zu seinem Ausscheiden aus dem Militärdienst im Jahr 1865 bis zum Oberstleutnant. Er war unter anderem an der Schlacht um Vicksburg im Jahr 1863 und am Atlanta-Feldzug von General William T. Sherman im Jahr 1864 beteiligt.