Por lo que conozco usualmente los servicios de correo saliente es del servidor que aloja el sitio web, por lo tanto es independiente a si se usa hotmail, gmail, o cualquier otro provedor de correos.
A MyBB solo se le tiene que asignar la dirección de correo que se usará para enviar correos, el servidor envia el correo pero ojo, funciona de la siguiente forma, al enviarse en ningún momento se usa el servidor de correos de donde 'sale' el correo porque el correo sale del servidor de alojamiento, a donde se conecta realmente es al servidor de correo de quien lo va a recibir.
Cuando les sale el error de que no se pudo contactar al servidor de correo puede ser tanto problema del servidor de alojamiento (tu host) o el servidor de correos de a donde lo estas queriendo enviar.