Encontre as respostas críticas que você precisa com o Elasticsearch + GAI + seus dados internos.
Nos últimos meses, temos visto um tremendo interesse na inteligência artificial generativa (GAI). As pessoas estão experimentando aplicativos GAI, como o ChatGPT, e as empresas estão avaliando suas implicações para a experiência do cliente, contabilidade, marketing e muito mais. Dada a rapidez com que a tecnologia está evoluindo, pode ser difícil distinguir o que é especulativo do que é realmente viável e valioso hoje em dia.
Estamos agora no ponto em que os líderes governamentais devem considerar seriamente como preparar seus dados internos para obter o máximo valor da GAI, bem como como usar a GAI para facilitar uma melhor experiência para cidadãos e funcionários.
A GAI sozinha é tão boa quanto os dados em que ela é treinada
Em seu estado atual, a GAI pode produzir conteúdos, conversas, imagens e muito mais impressionantes. No entanto, esses resultados são tão relevantes quanto os dados em que a ferramenta foi treinada. Quando os conjuntos de dados de treinamento – que fornecem a aparência de conhecimento dentro de modelos de linguagem grandes (LLMs) – são baseados em dados publicamente disponíveis na internet, as respostas que eles geram têm escopo limitado. A GAI baseada em dados públicos muitas vezes é propensa a “alucinações” – informações incorretas apresentadas como se fossem precisas.
Por outro lado, quando a GAI é usada com os dados internos de uma agência, ela pode acelerar significativamente os resultados das missões, melhorar os serviços aos cidadãos e conectar melhor os profissionais do conhecimento governamental, como analistas e profissionais de segurança cibernética, aos dados certos no momento certo. Por quê? Porque esses dados institucionais agregam contexto essencial.
A combinação de GAI e dados privados institucionais tem um efeito multiplicador de forças. A solução ingênua seria incluir dados privados nos modelos em si; no entanto, a complexidade e os custos do treinamento ou ajuste fino de modelos de IA – multiplicados pelo número de domínios e pontos de interação no governo – tornam-se insustentáveis. Em vez disso, as mesmas perguntas feitas ao LLM podem ser levadas primeiro às capacidades de busca de IA da Elastic, onde a resposta mais relevante e baseada em fatos com base nos seus dados internos pode ser encontrada.
Esse contexto específico do domínio que seus dados trazem à GAI pode tornar os resultados mais precisos, relevantes e acionáveis para sua missão. Um pré-requisito para “trazer seus próprios dados” é que seus dados estejam armazenados em uma plataforma de dados unificada, onde estejam acessíveis e localizáveis em um único lugar.
E quanto à privacidade e segurança?
Especialmente para o setor público, você não quer que seus dados altamente sensíveis se misturem com a GAI de acesso público – ou qualquer sistema em que você não mantenha o controle de seus próprios dados. Qualquer consulta de pesquisa enviada a um produto GAI de acesso público (como o ChatGPT) é consumida pelo modelo, o que significa que seus dados internos não são mais internos. Mesmo que sua organização não utilize formalmente a GAI como parte de sua pilha de tecnologia, é quase certo que seus funcionários a usarão de qualquer maneira.
Ajude a garantir que seus dados internos permaneçam nas mãos certas, integrando estrategicamente a GAI aos seus dados proprietários de forma que sua equipe de TI possa controlar e ter visibilidade. Caso contrário, você pode ter funcionários colocando involuntariamente seus dados sensíveis em um serviço GAI público, como o ChatGPT, onde você não pode garantir sua segurança. Idealmente, você integraria seus dados proprietários em uma plataforma projetada para lidar com informações sensíveis, onde você retém total controle de seus próprios dados e permite o controle de acesso baseado em funções (RBAC). Mais detalhes abaixo.
Acelerando o impacto da missão com a GAI
Dados são um dos ativos mais estratégicos que as organizações do setor público possuem hoje. Quando seus dados estão unificados e armazenados em uma única plataforma – onde podem alavancar a GAI e a tecnologia de busca – as implicações no mundo real podem ser abrangentes, proporcionando benefícios como:
Acesso personalizado aos serviços públicos
Imagine que um cidadão está procurando se candidatar a serviços de habitação pública. O processo de inscrição envolve várias etapas e formulários, que diferem com base em necessidades e localização. Simplesmente listar informações genéricas em uma página da web seria complexo e provavelmente não abordaria a situação única do cidadão. Por outro lado, quando as agências trazem seus próprios dados para a GAI, um cidadão pode encontrar informações e instruções adaptadas às suas circunstâncias individuais. Essas informações altamente relevantes têm o potencial de reduzir a complexidade que muitas vezes impede as pessoas de acessar serviços essenciais em primeiro lugar.
Experiências de cidadão simplificadas
Ou, outro exemplo: você foi convocado para o serviço do júri e precisa saber o que acontece em seguida. Para onde você precisa ir? Quanto tempo levará? Você foi selecionado como jurado? Seu juiz permite telefones celulares na sala do tribunal? Aproveitando seus dados, a GAI pode simplificar e personalizar essas informações complexas, melhorando potencialmente a experiência do cidadão e construindo confiança nos serviços e líderes governamentais.
Investigações e inteligência precisas
Para a aplicação da lei e a comunidade de inteligência, o acesso democratizado aos dados corretos em tempo real é fundamental. Isso é especialmente verdadeiro quando você tem várias organizações colaborando em um projeto – com bancos de dados diferentes de informações em formatos diferentes. Ter a capacidade de encontrar respostas em diferentes tipos e fontes de dados por meio de uma única consulta de GAI tem o potencial de aumentar a velocidade e a precisão dos resultados, reduzir o trabalho manual e demorado e garantir que todos que precisam possam trabalhar com o mesmo conjunto preciso de dados.
Aumento da produtividade dos funcionários
Quando você integra a GAI com contexto específico do domínio, você permite que suas equipes internas encontrem rapidamente as informações necessárias para fazer o trabalho. Uma rápida consulta em vários conjuntos e formatos de dados pode fornecer informações hiper-relevantes em tempo real – evitando a necessidade de pesquisar minuciosamente (e entediante) documentos ou bancos de dados isolados. E na maioria dos casos, as informações que suas equipes estão procurando não serão encontradas na internet pública ou nos conjuntos de treinamento de modelos de IA, portanto, é importante fornecer uma ferramenta alimentada por GAI para encontrar informações proprietárias rapidamente, para que seus funcionários não recorram a uma ferramenta pública que possa comprometer a segurança de seus dados.
Quando os funcionários gastam menos tempo em buscas infrutíferas e correlações manuais de dados, você elimina mais uma fonte de atrito em seu dia, abrindo caminho para melhor satisfação e engajamento no trabalho, especialmente se você já estiver com recursos limitados.
GAI + Elasticsearch + seus dados internos
Ao considerar como integrar os dados da sua agência com a GAI, a plataforma Elasticsearch pode ser uma ferramenta poderosa. Ela permite a ingestão de todos os tipos de dados, armazenamento econômico, acesso aonde quer que esteja e integração com modelos de transformação GAI.
A Elastic trabalhou para democratizar a busca há mais de uma década, e temos investido em inteligência artificial (IA) e aprendizado de máquina (ML) por um período significativo de tempo. Como resultado, acabamos de lançar o Elasticsearch Relevance Engine (ESRE) para ajudar nossos clientes a encontrar respostas relevantes para suas perguntas por meio de IA e ML na plataforma Elasticsearch.
O que é o Elasticsearch Relevance Engine (ESRE)?
O ESRE combina o melhor da IA com a pesquisa de texto da Elastic, fornecendo a capacidade de integrar-se a modelos de linguagem grandes (LLMs). Ele é acessível por meio de uma API simples e unificada que a comunidade da Elastic já confia, para que os desenvolvedores possam começar a usá-lo imediatamente para aprimorar a relevância da pesquisa.
Em outras palavras, agora você pode conectar seu próprio modelo GAI ou um modelo GAI de terceiros diretamente aos dados que você está armazenando na plataforma Elasticsearch. Isso permite que você aproveite o poder da GAI com dados específicos do domínio para produzir respostas precisas, relevantes, acionáveis e seguras.
Para saber mais sobre o ESRE, leia o blog de lançamento. https://www.elastic.co/pt/enterprise-search/generative-ai
Por que o Elasticsearch para GAI e dados privados?
1. Armazenamento unificado de dados e acesso democratizado. Você pode armazenar de forma acessível todos os seus dados na plataforma Elasticsearch para acesso democratizado, localização e insights. Uma vez que seus dados estão na plataforma, você pode usá-los para casos de uso adicionais, como caça a ameaças e monitoramento de infraestrutura.
2. A capacidade de encontrar respostas críticas que sejam:
Precisas: As respostas que você obterá da GAI e de seus próprios dados são baseadas em fatos relevantes para sua missão – não em alucinações.
Relevantes: Ao usar dados proprietários no Elasticsearch, você evita a necessidade de treinar repetidamente LLMs com seus dados internos, economizando tempo e custos de treinamento e garantindo que suas informações estejam sempre atualizadas.
Acionáveis: A plataforma Elasticsearch democratiza o acesso a dados e insights, permitindo que suas equipes colaborem e tomem decisões em tempo real, de qualquer lugar.
Seguras: Nem todos os funcionários devem ter acesso a todos os documentos, e certos dados precisam estar em locais específicos por motivos de soberania dos dados. O Elasticsearch permite que você limite o acesso aos dados a determinadas funções dentro de sua organização, mantendo ainda a capacidade de pesquisar em todo o seu repositório de dados.
3. Implementação econômica. Devido às décadas de otimizações em recuperação de informações, o Elasticsearch apresenta o conhecimento nas interações GAI de uma maneira que é ordenes de magnitude mais eficiente em termos de uso da CPU do que extrair o mesmo conhecimento de modelos de linguagem treinados ou ajustados. Algumas estimativas colocam a recuperação semântica como cinco vezes mais eficiente do que usar apenas o ChatGPT 3.5 ou 250 vezes os custos de CPU do GPT-4.
Quanto valor a GAI pode criar para sua organização depende de seus dados e se eles estão unificados e acessíveis. Se seus dados estão espalhados por várias ferramentas e equipes, você pode estar faltando o contexto e o conteúdo de que precisa para tornar a GAI hiper-relevante para seus objetivos de missão. A plataforma Elasticsearch serve como um único repositório de dados para todos os dados de sua agência e um ponto centralizado para colaboração, insights de IA e automação.
Próximos Passos
Saiba mais sobre o Elasticsearch e a GAI.
Obtenha uma perspectiva técnica sobre como implementar o Elasticsearch e a IA para casos de uso focados em privacidade.
Entre em contato com um especialista em BK Tech para conversar sobre como a IA pode trazer valor para a missão de sua agência.
Neste blog post, podemos ter usado ou nos referido a ferramentas de IA generativa de terceiros, que são de propriedade e operadas por seus respectivos proprietários. A Elastic não tem controle sobre as ferramentas de terceiros e não temos responsabilidade ou responsabilidade por seu conteúdo, operação ou uso, nem por qualquer perda ou dano que possa surgir do seu uso dessas ferramentas. Por favor, tenha cautela ao usar ferramentas de IA com informações pessoais, sensíveis ou confidenciais. Os dados que você envia podem ser usados para treinamento de IA ou outros fins. Não há garantia de que as informações que você fornecer serão mantidas em segurança ou confidenciais. Você deve se familiarizar com as práticas de privacidade e os termos de uso de quaisquer ferramentas de IA generativa antes de usá-las.
Elastic, Elasticsearch, ESRE, Elasticsearch Relevance Engine e marcas associadas são marcas comerciais, logotipos ou marcas comerciais registradas da Elasticsearch N.V. nos Estados Unidos e em outros países. Todos os outros nomes de empresas e produtos são marcas comerciais, logotipos ou marcas comerciais registradas de seus respectivos proprietários.
