Têm surgido ao longo do tempo várias soluções para o armazenamento e análise eficiente de Big Data, tais como: ecosistema Hadoop, Spark, ambiente R, auto-serviço, computação de ponta e block-chain.
O Ecosistema Hadoop. Embora o Apache Hadoop não seja tão dominante como já foi anteriormente, é praticamente impossível falar de “Big Data” sem mencionar este software livre para processamento distribuído de grandes conjuntos de dados. O ano passado, Forrester preveu que, “100% de todas as grandes empresas irão adoptar este sistema (Hadoop e tecnologias relacionadas tais como Spark) para análises de “Big Data” dentro dos próximos dois anos”. Ao longo dos anos, Hadoop tem crescido ao ponto de englobar um ecosistema inteiro de software relacionado, e muitas soluções comerciais de “Big Data” são baseados em Hadoop. Aliás, Zion Market Research prevê que o mercado para produtos e serviços baseados em Hadoop continuarão a crescer a uma taxa de 50% CAGR até 2022, quando o seu valor será de 87,14 biliões de dólares, contra os os 7,69 biliões de dólares verificados em 2016. Os fornecedores chave de Hadoop são a Cloudera, Hortonworks e MapR sendo que todas as clouds públicas principais oferecem serviços que apoiam a tecnologia.
Spark. Apache Spark faz parte do ecosistema Hadoop, mas o seu uso tornou-se tão amplo que merece ser inserido na sua própria categoria. É um engenho para processamento de “Big Data” dentro do Hadoop e chega a ser 100 vezes mais rápido que a máquina padrão Hadoop, MapReudce. No AtScale 2016 “Big Data” Maturit Survey, 25% dos inquiridos afirmaram que já tinham iniciado projectos em Spark e 33% tinham projectos Spark em desenvolvimento. Claramente, o interesse nesta tecnologia tem um tamanho considerável e está a crescer existindo já muitos fornecedores de produtos Hadoop que também dispõem de produtos baseados em Spark.
R Environment. R, outro projecto de software livre, é uma linguagem de programação e ambiente de software concebido para trabalhar com estatística. A estrela dos cientistas de dados, é gerido pela R Foundation e está disponível sob a licença GPL 2. Muitos ambientes de desenvolvimento integrado populares (IDEs), incluindo Eclipse e Visual Studio, suportam esta linguagem. Várias organizações que avaliam a popularidade de várias linguagens de programação dizem que o R se tornou umas das mais populares linguagens do mundo. Por exemplo, a IEEE afirma que o R é o quinto programa de programação mais popular, e tanto a Tiobe como a RedMonk classificam-na na 14ª posição. Tal facto é significativo pois as linguagens de programação situadas nas primeiras posições destes ranks são geralmente linguagens de propósito geral que podem ser utilizadas para diferentes tipos de trabalho muito distintos. Para uma linguagem que é utilizada exclusivamente para projectos de Big Data, estar tão próximo dos primeiros lugares da tabela demonstra a importância não só de “Big Data” como também da linguagem neste campo.
Auto-Serviço. Com a pouca oferta de cientistas de dados e de especialistas em “Big Data” e consequentes salários elevados, muitas organizações estão à procura de ferramentas de análise de “Big Data” que permitam aos utilizadores empresariais o auto-serviço das suas próprias necessidades. De resto, um relatório da Research and Markets estima que o mercado de auto-serviço de inteligência empresarial gerou 3,61 biliões de dólares em receitas em 2016 e que pode atingir os 7,31 biliões de dólares até 2021. Gartner apontou, que “a inteligência empresarial e plataformas de análise que surgiram nos últimos anos de forma a satisfazer novos requisitos organizacionais no que toca à acessibilidade, agilidade e maior profundidade de análise, mudando o mercado liderado pelas tecnologias de informação, de um sistema de comunicação de registos para um mercado focado para o negócio, de rápida análise incluindo o auto-serviço”. Múltiplos fornecedores de inteligência empresarial e de análise de Big Data, tais como a Tableau, Microsoft, IBM, SAP, Splunk, Syncsort, SAS, TIBCO, Oracle entre outras esperam tirar partido desta moda. Todas estas empresas adicionaram capacidades de auto-serviço às suas soluções. Só o tempo dirá se todos ou alguns destes produtos terão real utilidade para utilizadores que não são especialistas e se trarão o valor ao negócio esperado pelas organizações com iniciativas relacionadas com Big Data.
Computação de Ponta. Além do interesse que está a surgir nas análises de streaming, a moda IoT está também a gerar interesse na computação de ponta. Em alguns aspectos, a computação de ponta é o oposto da computação em nuvem. Em vez de transmitir os dados para um servidor centralizado para análise, os sistemas de computação de ponta analisam os dados muito próximo do ponto onde foram criados – na extremidade da rede. A vantagem de um sistema de computação de ponta é que este reduz a quantidade de informação que tem de ser transmitida ao longo da rede reduzindo assim o tráfego desta e custos associados. Também contribui para o decréscimo da procura em centros de dados ou instalações de computação em nuvem, libertando espaço para outras cargas de trabalho e eliminando pontos de falha. Embora o mercado para a computação de ponta, mais especificamente para as análises de computação de ponta ainda esteja em desenvolvimento, alguns analistas e investidores de risco começaram a chamar esta tecnologia de “o próximo grande acontecimento”.
Blockchain. Uma das favoritas para analistas e investidores de risco. Blockchain é a tecnologia de bases de dados distribuídos onde a moeda digital Bitcoin foi fundamentada. A característica única de uma base de dados blockchain consiste na impossibilidade de eliminar ou alterar os dados após estes terem sido introduzidos pela primeira vez. Além disso, é altamente segura, tornando-a uma excelente escolha para aplicações de “Big Data” em indústrias sensíveis como a banca, os seguros, os cuidados de saúde, o retalho entre outros. A tecnologia blockchain ainda está numa fase inicial de desenvolvimento e casos de utilização ainda estão a ser desenvolvidos. No entanto, vários fornecedores, incluindo a IBM, AWS, Microsoft e múltiplas startups levaram a cabo soluções experimentais ou introdutórias desenvolvidas em tecnologia blockchain. É uma tecnologia que oferece um vasto potencial para análise de dados.