Todos los problemas que mencionas son por lo mismo que estas indicando.
Para empezar ningún theme de 1.6.x funciona en 1.8.x, se pueden instalar si, pero solo causan problemas, para 1.8.x tenes todos los Themes en este link
Themes 1.8.x por otro lado de igual forma que los Themes, los Plugins de 1.6.x "no" funcionan en 1.8.x, hacer compatibles cambiando la versión solo hace que el plugin sea reconocido por Mybb, pero eso no significa que el mismo "funcione", la mayoría de los plugins que haces eso "no" funcionan y pueden llegar a dañar el foro según la función del plugin, para evitar estos problemas instala únicamente plugins para 1.8.x que podes bajar de acá
Plugins Mybb 1.8.x
En resumen, desactiva todo plugin que tengas en tu foro, elimina cualquier theme de 1.6.x que tengas instalado, y con el foro Limpio y sin plugins, usando el theme default volvé a verificar que funciona y que no, recordá limpiar la cache de tu navegador, o si ves algún error en el mismo indica cuales, también de paso verifica que las plantillas del theme default no estén modificadas, si es así restaurarlas al original y volvé a verificar.
Si haces esto no tendrías que tener ningún problema en tu foro, después que confirmes que esta todo funcionando correctamente instala los plugins o themes que quieras, pero de 1.8.x únicamente.