HPE Data Management Framework 7

Os aplicativos de IA/HPC têm uso intenso de dados, e essas informações precisam ser protegidas

O HPE Data Management Framework 7 cria versões imutáveis de arquivos e faz capturas de tela do reflexo de namespace. Gerenciada por meio de uma política de administrador, a recuperação pode ser personalizada para o menor RTO do disco, menor custo da fita e/ou de locais remotos por meio de S3/cloud.

A perda do sistema de arquivos causada por falhas tem um impacto catastrófico sobre a disponibilidade do cluster de computação de alto desempenho. Mesmo quando o sistema de arquivos conta com ferramentas de reparo, a complexidade e o tempo envolvidos no conserto de um sistema assim pode estender a interrupção computacional além dos SLAs aceitáveis.

Até o momento, proteger sistemas de arquivos e dados tem sido um investimento alto que traz várias desvantagens, entre elas a falta de janelas de backup, utilitários de backup subotimizados para sistemas de arquivos paralelos na faixa dos PB, e o impacto negativo sobre o desempenho da varredura de metadados do sistema de arquivos.

O surgimento da computação em exaescala está desafiando os limites de expansão do armazenamento de HPC legado

O HPE Data Management Framework 7 gerencia o espaço livre em armazenamento retirando automaticamente os arquivos “ociosos” do armazenamento de alto desempenho, criando um espaço de armazenamento subjacente maior na parte interna. Os administradores gerenciam facilmente as configurações de políticas, diminuindo a necessidade de tomar ações radicais.

Talvez o desafio seja mais difícil para os administradores de sistema, que se esforçam para manter espaço livre suficiente em caros armazenamentos de alto desempenho, enquanto os usuários inundam o sistema de maneira independente com arquivos novos. Aumentar o orçamento para armazenamento e/ou excluir os arquivos do usuário não são soluções práticas.

O volume e a diversidade dos dados exigidos por aplicativos de HPC/IA alimentaram o aumento do “apetite voraz” do armazenamento, que se alimenta de orçamentos de HPC. Ao mesmo tempo, arquiteturas de sistema de arquivos paralelas tradicionais estão sofrendo sob o peso do aumento impiedoso no número de arquivos e inodes.

Às vezes, os administradores precisam trabalhar com os usuários para diminuir a quantidade de arquivos não usados no sistema, garantindo que o desempenho dos metadados não seja prejudicado. Quando arquivos antigos são marcados para remoção, nenhum dado precisa ser movido, uma vez que o HPE DMF7 já preserva os arquivos e metadados em um armazenamento back-end mais econômico.

Os ambientes de armazenamento IA/HPC são diversificados, e os dados precisam ser portáteis.

O HPE Data Management Framework 7 migra automaticamente os arquivos para baixo na hierarquia do sistema de armazenamento, sem a interação do administrador, e os chama de novo para cima, para um armazenamento de alto desempenho sob demanda. Ele usa deslocadores de dados paralelos e a rede de alta velocidade para mover os arquivos com mais rapidez do que os utilitários padrão de desktop.

Gerenciar a movimentação de dados de HPC/IA é uma tarefa assustadora. As ferramentas não são fáceis de usar, não são bem expansíveis, a largura de banda do pipe de rede é limitada, e os usuários talvez não tenham as habilidades necessárias. Quando não conseguimos mover os dados facilmente, e a motivação para isso é baixa, a escolha comum é deixá-los onde estão.

Os sistemas de armazenamento são otimizados para desempenho, capacidade e custo, e os dados estão sempre em movimento entre essas camadas. Os fluxos de trabalho de aplicativo exigem que os dados sigam o usuário e o aplicativo. Os administradores são sempre pressionados a gerenciar os custos de armazenamento e mover os dados para baixo na hierarquia.

A migração da tecnologia é um motivador comum da movimentação de dados, e o HPE DMF7 está pronto para enfrentar esse risco no futuro. Ele automatiza a migração de objetos back-end de tecnologias HDD/fita de uma geração ineficaz e mais antiga para gerações com a mais alta densidade, confiabilidade e desempenho.

Quando o sistema de arquivos precisa ser inutilizado, os administradores movem o sistema e os arquivos para dispositivos back-end HPE DMF7. Depois de protegidos, o sistema de arquivos pode ser preparado em um namespace totalmente novo, e os arquivos podem ser preparados em um novo namespace ou mantidos em curadoria pelo HPE DMF7.

Gastar menos com armazenamento de HPC é poder gastar mais com computação

O HPE Data Management Framework 7 é a plataforma de gerenciamento de armazenamento de HPC que automatiza os fluxos de trabalho de dados e reduz os custos com armazenamento de HPC para que os clientes HPC possam usar seu valioso orçamento para projetos no recurso de infraestrutura que acharem mais importante.

O apetite voraz do armazenamento luta contra esse objetivo. O apetite voraz do armazenamento incentiva os clientes HPC a replicar arquivos em opções exclusivas e caras e dimensionar camadas de armazenamento mais caras para atender ao aumento de dados. Ele também prega ser mais fácil deixar os dados onde estão, com armazenamento caro do que movê-los.

O principal objetivo do HPE DMF7 é reduzir os custos de armazenamento. Com o HPE DMF7, em vez de comprar um armazenamento mais caro, os clientes de HPC têm mais facilidade para proteger, expandir e mover dados usando armazenamentos mais econômicos e melhorar o uso e o desempenho de recursos de armazenamento de HPC de missão crítica.

O crescimento incessante dos dados de HPC e a orquestração de grandes conjuntos de dados para IA/machine learning estão produzindo um aumento nunca antes visto nas necessidades de capacidade de armazenamento. Além disso, a adoção de armazenamento em flash a um custo efetivo mais alto significa que a contenção dos gastos ainda é o principal objetivo para quem compra armazenamento de HPC.