Como consecuencia de una tormenta notable sucedida en 1856, Rankine trabajó sobre la estabilidad de las chimeneas obteniendo importantes conclusiones prácticas. Al año siguiente el Trinity College de Dublín lo distinguió con un doctorado honorífico y fundó la Institución de Ingenieros y Constructores Navales de Escocia, siendo su primer presidente; también elaboró una teoría de la resistencia superficial en las embarcaciones, con base en datos experimentales proporcionados por su amigo J. R. Napier. En 1858 publicó la primera edición de su texto de mecánica aplicada, "Applied Mechanics", y en 1859 el "Manual of the Steam Engine and other Prime Movers"; en julio de ese año, Rankine fue fundamental en la formación del 2º Cuerpo de Fusileros Voluntarios de Lanarkshire en la Universidad de Glasgow, ingresando como capitán y convirtiéndose en mayor en 1860 al comando del 2º Batallón del Regimiento de Fusileros Voluntarios de Lanarkshire de ese Cuerpo, puesto que ocupó hasta 1864, cuando renunció debido a la presión de trabajo relacionado con la arquitectura naval. En 1861 terminó su "Manual of Civil Engineering", que publicó en 1862, año en que también fue jurado de maquinaria en la Exposición Universal de Londres; al año siguiente la Institución de Ingenieros de Escocia lo premió con la medalla de oro por un artículo sobre la licuefacción del vapor.