Q:

Estoy confundido con la colocación de “de” y “a”: ¿Por qué se dice "las palabras más difíciles *de* pronunciar" y no *a*? 

En el vídeo “Las palabras más difíciles de pronunciar en español para los no hispanohablantes” - https://m.youtube.com/watch?v=oCQTnZrwxtE, ¿por qué usa esta frase? 

las palabras más difíciles de pronunciar

Yo habría apostado por:

las palabras más difíciles a pronunciar

Esto me confunde siempre. 

A:

Las preposiciones que corresponden a cada verbo o adjetivo son generalmente arbitrarias y simplemente tienes que aprendértelas de memoria.  Se usa de + infinitivo con los siguientes adjetivos: fácil, simple, sencillo, etc.,  y sus antónimos: difícil, complicado, complejo, etc.,  y los otros que indican capacidad como posible e imposible. 
Por extensión también se pueden usar adjetivos como pesado o liviano/ligero con verbos relacionados: algo puede pesado de levantar o liviano de llevar.