Si WordPress no manda emails ¿cómo solucionarlo?

En ocasiones, casi siempre debido a las configuraciones del servidor, WordPress no puede enviar emails, y no recibes correos electrónicos de administración y, lo que es peor, tus formularios de contacto y demás plugins útiles, no pueden enviar emails de los nuevos registros, por ejemplo.