En modo ventana emergente no, si había uno para 1.6.x pero consumía muchos recursos del servidor según leí, que te abría una notificación emergente, no se si es compatible con 1.8.x, o bien tal vez podrías personalizar el aviso por defecto de Mybb para que se vea de forma distinta a una barra horizontal indicando que tenes un mensaje, pero eso depende de que buscas exactamente.
El plugin que te indico creo que era este
Ajax PM Notification pero como dije tené en cuenta que es para Mybb 1.6.x "no" para 1.8.x, como puede ser que ande sin problemas, puede ser que no ande y te de problemas, en todo caso si es esto lo que buscas, te diría probarlo en un foro/copia secundario antes de usarlo en tu foro principal.
