A Gordon se le asignó primero la construcción de fortificaciones en Milford Haven, Pembrokeshire, Gales. Cuando comenzó la Guerra de Crimea, fue enviado al Imperio ruso, y llegó a Balaklava en enero de 1855. Se le destinó al sitio de Sebastopol y tomó parte en el asalto de la fortaleza desde el 18 de junio hasta el 8 de septiembre. Gordon también participó en la expedición a Kinburn, y volvió a Sebastopol al final de la guerra. Por sus servicios en Crimea, recibió la medalla de la guerra de Crimea y broche. A raíz de la paz, se le adjuntó a una comisión internacional para demarcar la nueva frontera entre el Imperio ruso y el Imperio otomano en Besarabia. Continuó la topografía, demarcando la frontera en Asia Menor. Gordon volvió a Gran Bretaña a finales de 1858, y fue designado como instructor en Chatham. Fue promovido a capitán en abril de 1859.