Los botones son estilizados por CSS, y si como menciona Ryuuseiken es con ese estilizado y el código que te mostro.
Y como menciona JustU, el programa con el que haces dichas imagenes sería Adobe Photoshop, GIMP, Corel, etc, pues son solo editores de imagenes para crearlos a tu gusto, y luego añadirlos a la plantilla de tu foro de la manera que te mencionan y con eso es posible hacerlos.
Aunque tiene sus pros y contras, porque vBulletin es una marca registrada y pudieses tener problemas por plagio, es mejor hacer los tuyos con un estilo mejorado. O que se parezca, pero que tenga otra funcionalidad o algo asi para evitar violaciones de Copyright.
Saludos...