El MD5 es bastante inseguro usandolo por "default" (Hay formas de 'crackearlo'). Por eso MyBB lo "refuerza" con un "salt" y doble encriptación md5.
Para loguear a un usuario, MyBB usa este codigo:
(Sacado del portal.php, lineas 56 a 95)
Las funciones que usa ese codigo las podés encontrar en:
inc/functions_user.php.
Si no querés ver el código, ésta es la funcion que te interesa: