La empresa de hosting inTac ha publicado una interesante infografía que apunta los distintos procesos y fases en los que se puede acelerar y optimizar la carga de WordPress.

Resumiendo mucho, pues lo tienes en la imagen, lo que proponen es …

Caché de página, con herramientas como los plugins de cache
Caché de la base de datos
Caché del navegador
Uso de CDNs (o red de entrega de contenidos) para redistribuir el tráfico
Minimizar el tamaño del código, especialmente el CSS y Javascript
Controlar el tamaño de la base de datos, reduciendo información redundante como las revisiones de entradas
Limitar las peticiones a la base de datos eliminando llamadas innecesarias
… y por supuesto, siempre tener en cuenta los básicos: actualizar WordPress y plugins, desactivar plugins innecesarios, etc

La imagen, como es grandecita, la tienes tras el salto …