Fredrik Bajer var elev på Sorø Akademi fra 1848 til 1854, men kort før studentereksamen gik han ud af skolen for at få en officersuddannelse. Han deltog som løjtnant i krigen 1864 mod Preussen og Østrig og blev premierløjtnant. I 1865 trådte han ud af hæren for at engagere sig i fredsarbejdet. Han slog sig ned i København, hvor han ernærede sig og sin familie som lærer, oversætter og forfatter.