Core, es WordPress en sí, su descarga es gratuita.
Temas, sirven para cambiar la apariencia de la web, personalizarla, editarla, etc. Tiene un montón de recursos gratuitos, pero muchos otros de pago.
Plugins, son utilidades para la navegación de los usuarios, "extras" de la página web. Al igual que los temas, muchos son gratuitos, pero otros muchos son de pago.