Williams se enroló en la Armada de los Estados Unidos el 8 de agosto de 1947, a la edad de 16 años, y completó el entrenamiento básico en el Centro de Entrenamiento Naval de San Diego. Sirvió durante casi veinte años, retirándose el 26 de abril de 1967 como contramaestre de primera clase. Durante esos años, sirvió tanto en la Guerra de Corea como en la Guerra de Vietnam. El 14 de mayo de 1968, Williams recibió la Medalla de Honor por el presidente Lyndon B. Johnson durante la ceremonia de entrega en el Salón de los Héroes del Pentágono. En 1977, recibió el título honorífico de contramaestre jefe.