Dentro del panel de control de WordPress hay una barra lateral con diversas opciones, y para editar el tema de tu sitio deberás ir a Apariencia y posteriormente a Editor de temas, dentro de estas opciones se te mostrará una ventana con un código que podrás modificar para realizar cambios.
Cabe mencionar que los archivos de estas plantillas están escritos en lenguajes de programación como CSS y PHP, por lo cual te recomendamos precaución al momento de editar las líneas de código y realizar un respaldo antes de guardar cualquier cambio.En caso de que no te sientas seguro al respecto, puedes recurrir a un programador o un diseñador web.