Bayly sluttet seg til den britiske marinen som kadett i 1870 da han var tretten år gammel. Bayly tjenestegjorde ombord på HMS Agincourt under den anglo-egyptiske krigen i 1882. Bayly giftet seg i 1892 med Yves Henrietta Stella, datter av Henry Annesley Voysey. Bayly foreleste ved Royal Navy War College mellom 1908 og 1911. Før utbruddet av den første verdenskrig ble Bayly gitt kommandoen over den første britiske Battle Cruiser Squadron, en posisjon han hadde frem til 1912. I 1915 ble Bayly valgt til president for Royal Naval College i Greenwich. Bayly pensjonerte seg fra den britiske marinen i 1919 og han døde i London i 1938, da han var 81 år gammel.