realmente nose como funciona lo de los grupos de vbulletin que dices estaban en vb 3.8???
bueno desde el panel de administracion pedes crear grupos y puedes poner que los usuarios puedan entrar o dejar el grupo y que lo usen como grupo a mostrar, para que los usuarios entren o dejen el grupo se hace desde el panel de control de usuario en la opcion membresioas de grupo... si eso no te sirve del todo me parece que de un modo u otro el sistema serviria talves se podria agregar la opcion de que el usuario cree grupos desde el panel de control pero supongo que quedrias que sea suporvisado por un administrador porque que todo el mundo pueda crear un grupo seria una locuara.