General

El novedoso almacenamiento de supercomputación puede permitir el rendimiento a exaescala


La supercomputación, o informática avanzada de alto rendimiento, es un proceso para resolver problemas extremadamente complejos cargados de datos mediante el uso de la potencia de procesamiento concentrada de varias computadoras paralelas. Las aplicaciones van desde la genómica hasta los cálculos astronómicos y el descubrimiento de medicamentos.

Sin embargo, hasta ahora, estas impresionantes herramientas han luchado con plataformas de almacenamiento limitadas por marcos rígidos que obligan a los usuarios a elegir la personalización de las funciones o la alta disponibilidad. Ahora, los investigadores de Virginia Tech finalmente han venido al rescate.

Actuando en la exaescala

Se ha desarrollado un marco de almacenamiento novedoso, el primero en su tipo, llamado BespoKV, que tiene la capacidad única de brindar a los sistemas de datos de supercomputación o computación de alto rendimiento (HPC) la flexibilidad para prosperar a un ritmo increíblemente alto. De hecho, los investigadores afirman que su sistema podría algún día lograr el notable objetivo de HPC de funcionar a exaescala (Mil millones mil millones cálculos por segundo).

Como punto de referencia, los mejores sistemas en funcionamiento en la actualidad funcionan a petaflop (un cuatrillón cálculos por segundo). Lo que esto significa es que estos nuevos sistemas pueden ofrecer medios de almacenamiento sumamente eficientes.

La clave para lograr esto radica en el hecho de que los sistemas innovadores están diseñados para cargar contenido desde el almacén en memoria más rápido cercano en lugar del servidor de almacenamiento remoto de uso común. Esta mejora da como resultado un sistema equipado con un rendimiento muy alto a la hora de completar solicitudes.

"Me interesé en los sistemas de valor clave porque esta plataforma de almacenamiento tan fundamental y simple no ha sido explotada en sistemas informáticos de alto rendimiento donde puede proporcionar muchos beneficios", dijo en un comunicado Ali Anwar, primer autor del artículo que se presenta. y un recién graduado de Virginia Tech que actualmente trabaja en IBM Research. "BespoKV es un marco novedoso que puede permitir que los sistemas HPC proporcionen mucha flexibilidad y rendimiento y no estén encadenados a un diseño de almacenamiento rígido".

Pasando por alto la rigidez

Estos nuevos sistemas también evitan una de las principales limitaciones actuales de las tiendas KV de última generación: la rigidez de su diseño. Las tiendas KV de hoy en día están diseñadas para especializarse en un solo entorno específico, lo que las hace notoriamente inadaptables.

“Los desarrolladores de grandes empresas pueden realmente hundirse en el diseño de innovadores sistemas de almacenamiento HPC con BespoKV”, dijo Ali Butt, profesor de informática. “El rendimiento del acceso a datos es una limitación importante en los sistemas de almacenamiento HPC y generalmente emplea una combinación de soluciones para brindar flexibilidad junto con rendimiento, lo cual es engorroso. Hemos creado una forma de acelerar significativamente el comportamiento del sistema para cumplir con los niveles deseados de rendimiento, consistencia y confiabilidad ".

De hecho, BespoKV es intrínsecamente ágil porque ha sido diseñado para admitir el mapeo arbitrario entre los servicios deseados y los componentes disponibles. “Ahora que hemos demostrado que podemos realizar la acción eficiente y simple de usar sistemas KV en potentes sistemas HPC, los clientes no lo harán. tenemos que elegir entre escalabilidad y flexibilidad ”, dijo Butt.

Los investigadores ahora presentarán sus hallazgos en la Conferencia de Supercomputación de la Asociación de Maquinaria de Computación / IEEE en Dallas, Texas, hoy.


Ver el vídeo: Data OnTAP, el 8º Pasajero, Javier Martínez (Octubre 2021).