Transformação e Escalabilidade: A Migração da Neurotech para Kubernetes com Amazon EKS

Descrição do Caso

Este estudo de caso inclui os detalhes relacionados ao projeto de implementação do Amazon EKS:

Descrição geral da solução:

A solução implementada pela Neurotech para migrar suas aplicações e modelos de aprendizado de máquina para uma arquitetura baseada em Kubernetes com a tecnologia Amazon EKS foi abrangente e eficaz. Aqui está uma descrição geral dos principais componentes:

• Amazon EKS (Elastic Kubernetes Service): O Amazon EKS é um serviço gerenciado que facilita a implantação, gerenciamento e escalabilidade de clusters Kubernetes. A Neurotech utilizou o EKS como a base da infraestrutura de contêineres, aproveitando a capacidade de orquestração e escalabilidade do Kubernetes, sem se preocupar com a complexidade da gestão do cluster.

• Terraform: O Terraform foi fundamental para a infraestrutura como código (IaC), permitindo à Neurotech definir e provisionar sua infraestrutura AWS de maneira declarativa. Isso garantiu que a infraestrutura estivesse alinhada com as necessidades da aplicação, sendo facilmente reprodutível e escalável.

• CI/CD com ArgoCD e Tekton: A Neurotech implementou um pipeline de CI/CD (Integração Contínua/Entrega Contínua) para automatizar a implantação de suas aplicações e modelos no cluster EKS. ArgoCD foi usado para a implantação de aplicações e gerenciamento de configuração, enquanto o Tekton facilitou a automatização de tarefas de compilação e implantação. Essa abordagem ajudou a garantir a consistência e a agilidade nas atualizações e implantações.

• Observabilidade: A observabilidade é crítica em um ambiente Kubernetes. A Neurotech implementou ferramentas de monitoramento, como Prometheus para coleta de métricas e Grafana para visualização, para acompanhar o desempenho do cluster e das aplicações. Além disso, logs e rastreamento (tracing) foram configurados para garantir a capacidade de solucionar problemas de maneira eficaz e monitorar o comportamento das aplicações em execução.

Essa solução abrangente permitiu que a Neurotech migrasse com sucesso suas aplicações de análise de risco para uma arquitetura baseada em Kubernetes no Amazon EKS. A automação proporcionada pelo Terraform, CI/CD com ArgoCD e Tekton, juntamente com a observabilidade, contribuiu para uma implantação e operação eficazes, garantindo que a empresa pudesse aproveitar os benefícios de escalabilidade e eficiência do Kubernetes sem comprometer a confiabilidade e o desempenho de suas aplicações críticas.

Produtos usados nesta solução:

• Amazon EKS;

• Hashicorp Terraform;

• ArgoCD;

• Tekton.

Como outros serviços AWS foram integrados nesta solução:

• VPC: No que tange a conectividade, foi provisionada uma VPC esubnets privadas para dispersão das instâncias;

• CloudWatch: O serviço CloudWatch permite fornecer infraestrutura e monitoramento de serviços por meio de painéis e também, alertas de eventos;

• GuardDuty: O serviço GuardDuty é capaz de apoiar o processo de monitoramento, ajudando a fornecer insights ao nosso NOC (Centro de Operações de Rede) sobre como gerenciar ameaças e problemas de segurança;

• Cloudfront: Rede distribuída de conteúdo para caching e servir objetos estáticos;

• S3: Storage de objetos utilizado para armazenamento dos dados BLOB, anteriormente armazenados no SGBD.

Problemas e preocupações do cliente que foram superadas:

Durante a migração para uma arquitetura baseada em Kubernetes com o Amazon EKS, a Neurotech enfrentou vários problemas e preocupações do cliente que foram superados com sucesso:

• Complexidade da Migração: A migração de aplicações e modelos de aprendizado de máquina para uma arquitetura de contêineres e Kubernetes é intrinsecamente complexa. A equipe da Neurotech superou esse desafio por meio de um planejamento meticuloso e da automação da infraestrutura com o Terraform, garantindo que a migração ocorresse de maneira controlada e escalável.

• Integridade dos Modelos de IA: A Neurotech lida com análise de risco, o que significa que a integridade dos modelos de IA é crítica. Para garantir que os modelos não fossem comprometidos durante a migração, foram realizados testes rigorosos e verificações de qualidade para confirmar que os modelos funcionavam conforme o esperado na nova infraestrutura.

• Segurança de Dados Sensíveis: A empresa lidava com dados sensíveis, o que levantou preocupações significativas de segurança. A Neurotech implementou medidas de segurança apropriadas, como políticas de acesso, criptografia e isolamento de dados para garantir que os dados sensíveis fossem protegidos em conformidade com os padrões regulatórios.

• Sincronização de Equipe e Processos: A mudança para uma cultura DevOps e a colaboração eficaz entre equipes de desenvolvimento e operações podem ser desafios em migrações desse tipo. A Neurotech superou isso promovendo treinamento interno, incentivando a colaboração e adotando práticas de CI/CD, como ArgoCD e Tekton, para automatizar o ciclo de vida das aplicações.

• Disponibilidade e Observabilidade: Garantir que as aplicações fossem altamente disponíveis e observáveis em um ambiente Kubernetes era uma prioridade. A implementação de ferramentas de monitoramento, rastreamento e logs assegurou que a Neurotech pudesse identificar problemas rapidamente e manter a qualidade de serviço esperada pelos clientes.

No geral, a Neurotech conseguiu superar com sucesso esses problemas e preocupações do cliente por meio de uma abordagem cuidadosa, automação eficaz e adoção de práticas de segurança e observabilidade sólidas. Isso permitiu que a empresa migrasse para a nova arquitetura sem interrupções significativas em suas operações de análise de risco, fornecendo um serviço aprimorado aos clientes.

Resultados alcançados:

Os resultados alcançados pela Neurotech após a migração de suas aplicações e modelos de aprendizado de máquina para uma arquitetura baseada em Kubernetes com o Amazon EKS incluem:

• Escala e Elasticidade: A empresa conseguiu escalar suas aplicações de maneira mais eficiente em resposta às demandas variáveis dos clientes. Com o Kubernetes e o Amazon EKS, a Neurotech pode dimensionar automaticamente recursos de computação de acordo com as cargas de trabalho, garantindo alta disponibilidade e melhorando a capacidade de atender picos de demanda.

• Eficiência Operacional: A automação proporcionada pela infraestrutura como código (Terraform) e a implementação de práticas de CI/CD (ArgoCD e Tekton) reduziram significativamente a sobrecarga operacional. Isso permitiu à equipe da Neurotech concentrar mais tempo e recursos no desenvolvimento de recursos e melhorias para suas aplicações.

• Maior Confiabilidade: Com a observabilidade melhorada e o monitoramento constante da infraestrutura e das aplicações, a Neurotech alcançou maior confiabilidade em suas operações. Problemas podem ser identificados e resolvidos mais rapidamente, minimizando o impacto sobre os clientes.

• Flexibilidade e Agilidade: A arquitetura baseada em Kubernetes tornou as aplicações mais flexíveis e fáceis de atualizar. As mudanças de código podem ser implementadas de forma rápida e segura, permitindo que a Neurotech acompanhe as inovações tecnológicas e as necessidades do mercado de forma ágil.

• Segurança Reforçada: As medidas de segurança implementadas, como políticas de acesso, criptografia e isolamento de dados, fortaleceram a proteção de dados sensíveis. A Neurotech pode operar em conformidade com regulamentações de segurança e privacidade, proporcionando confiança aos clientes.

• Redução de Custos: Embora a migração inicial tenha exigido investimentos significativos, a eficiência operacional e a capacidade de dimensionamento adequado permitiram que a Neurotech otimizasse seus custos operacionais a longo prazo. Isso é especialmente valioso em um cenário de análise de risco, onde a eficiência é crítica.

Em resumo, a migração bem-sucedida da Neurotech para uma arquitetura baseada em Kubernetes com o Amazon EKS resultou em uma melhoria significativa em escalabilidade, eficiência operacional, confiabilidade e segurança. A empresa agora está mais bem posicionada para atender às demandas de seus clientes, inovar em seus serviços e enfrentar os desafios do mercado de análise de risco com maior agilidade e eficácia.

Lições aprendidas:

• A implementação de serviços AWS, nos permitiu focar mais nos aspectos de negócios do projeto;
• Embora o planejamento de projetos como esse seja importante, a necessidade de experimentação por parte do cliente mostrou-se fundamental. Neste sentido, o uso da AWS habilita uma rápida prototipação de arquiteturas;
• Usar a estrutura AWS Well Architected como uma referência nos ajuda a deixar claro para o cliente o valor de um bom parceiro de serviço.