MCP Leaderboard

El Atlas de INITE pregunta una vez al día al servidor MCP propio de cada proveedor si responde, abierto o pidiendo iniciar sesión, y con qué rapidez; las herramientas de un servidor abierto se leen y se califican. La puntuación es la del propio Atlas, sobre 100: fiabilidad en 30 días, la parte de los casos de uso del producto que cubren las herramientas, la calidad de sus definiciones, lo que cuestan en el contexto de un agente, la adopción pública y lo fácil que le resulta entrar a un cliente.

La primera tabla son los servidores que la gente conoce: los proveedores más usados del Atlas cuyo servidor respondió al menos una vez esta semana, por orden de uso, con su puntuación cuando la tienen. La mayoría están detrás de un inicio de sesión, así que no tienen historial completo y no entran en la tabla por puntuación.

La tabla solo ordena servidores con historial completo: al menos una semana de comprobaciones, herramientas leídas y casos de uso evaluados. Un servidor detrás de un inicio de sesión no muestra sus herramientas, así que cuenta en las cifras de la semana pero no se clasifica. Los empates se deciden por las comprobaciones de la semana y después por el uso del proveedor en el Atlas.

La puntuación de un servidor se compara con la que quedó fijada la semana anterior, y un cambio de menos de 10 puntos no se muestra; su disponibilidad se compara con las comprobaciones de la semana anterior, y un cambio de menos de 30 puntos no se muestra. Un servidor figura entre los que no respondieron cuando, después de haber funcionado, contestó a menos de la mitad de al menos cuatro comprobaciones. Es lo que vio nuestro comprobador, no un veredicto sobre el proveedor: un cortafuegos, un bloqueo regional o un límite de peticiones de nuestro lado se ven igual. Aquí no escribe ningún modelo: las frases se rellenan con los números de las tablas.

Cómo se calcula la puntuación, con sus pesos

Se puede citar con un enlace a esta página (CC BY 4.0).