Inteligência Artificial. Embora o conceito de Inteligência Artificial (AI) seja falado sensivelmente desde a criação dos computadores, esta tecnologia só se tornou verdadeiramente útil nos últimos anos. Em muitos aspectos, a moda de “Big Data” levou a que fossem feitos avanços na AI, particularmente em dois subconjuntos do tema: aprendizagem automática e aprendizagem profunda. A definição mais comum de aprendizagem automática diz que é uma tecnologia que dá “a habilidade aos computadores de aprender sem ser programado explicitamente”. Em analítica de Big Data, a tecnologia de aprendizagem automática permite que os sistemas analisem dados históricos, reconheçam padrões, construam modelos e prevejam resultados futuros. Está também intimamente associada com analíticas preditivas. Aprendizagem profunda é um tipo de tecnologia de aprendizagem automática que assenta em redes neurais artificiais e usa múltiplas camadas de algoritmos de forma a analisar os dados. Enquanto área, mostra bastante potencial no que toca a possibilitar as ferramentas de análise em reconhecer o conteúdo presente nas imagens e vídeos processando-os em conformidade. Os especialistas dizem que esta área de ferramentas de “Big Data” parece estar pronta para um crescimento exponencial. IDC, previu que “em 2018, 75% das empresas e desenvolvimento ISV irão incluir funcionalidades cognitivas/AI ou de aprendizagem automática em pelo menos uma aplicação, incluindo todas as ferramentas de análise empresarial”. Os principais fornecedores de AI que possuem ferramentas relacionadas com “Big Data” são a Google, IBM, Microsoft e Amazon Web Services. Várias start-ups encontram-se a desenvolver tecnologia AI (estando a ser adquiridos pelos maiores fornecedores de tecnologia).
Análises Preditivas. É um sub-conjunto de análises de “Big Data” que tenta prever o acontecimento de eventos futuros ou comportamentos baseadas em dados históricos. Estas predições são feitas com base em pesquisa de dados, modelação e técnicas de aprendizagem automática de forma a prever o que vai acontecer depois. É frequentemente usado em detecções de fraude, pontuação de crédito, marketing e em análises empresariais e financeiras. Em anos recentes, avanços na inteligência artificial permitiram melhorias significativas nas capacidades de solução de análises de predição. Como resultado, as empresas começaram a investir mais em soluções de “Big Data” com capacidades preditivas. Muitos fornecedores, incluindo a Microsoft, IBM, SAP, SAS, Statistica, RapidMiner, KNIME e outros dispõem de soluções de análise preditiva. O Zion Market Research indica que o valor gerado pelo mercado da Análise Preditiva foi de 3,49 biliões de dólares em 2016, valor este que pode subir até aos 10,95 biliões de dólares em 2022.
Análises Streaming. Á medida que as organizações têm ficado mais familiarizadas com as capacidades das soluções analíticas de Big Data, estas têm exigido acesso cada vez mais rápido a novas informações. Para estas empresas, análises em “streaming” (tempo real) com a habilidade de analisar dados enquanto estão a ser criados é vista como o Santo Graal. Procuram soluções que possam aceitar informações de fontes múltiplas e díspares e processá-las devolvendo conhecimento de forma imediata ou quase imediata. Este é um factor particularmente desejável no que toca à implantação de novas tecnologias IoT, que têm ajudado no crescente interesse em análises streaming de Big Data. Vários fornecedores dispõem de produtos que prometem capacidades de análises streaming. Alguns destes são a IBM, Software AG, SAP, TIBCO, Oracle, DataTorrent, SQLstream, Cisco, Informatica. A MarketsandMarkets acredita que as soluções de análise streaming atingiram receitas de 3,08 biliões de dólares em 2016 que poderão aumentar até aos 13,70 biliões de dólares até 2021.
Análises Prescritivas. Muito analistas dividem as ferramentas de análise de “Big Data” em quatro grandes categorias. As primeiras, análises descritivas, apenas mencionam o que aconteceu. O seguinte tipo, análises de diagnóstico já fornecem razões que podem explicar o porquê do sucedido. O terceiro tipo, análises preditivas, discutidas acima, tenta prever o que irá acontecer de seguida. É das ferramentas de análise mais sofisticadas presentes no mercado. No entanto, existe um quarto tipo de análises que são ainda mais sofisticadas, embora muito poucos produtos com tais capacidades estejam disponíveis. As análises prescritivas oferecem conselhos a companhias sobre o que estas devem fazer de modo a obterem determinado resultado desejado. Por exemplo, enquanto as análises preditivas podem avisar uma companhia que o mercado para uma linha particular de um produto está prestes a decrescer, a análise prescritiva irá analisar várias formas de agir em resposta a essas alterações do mercado e prever os resultados mais prováveis. Actualmente, muito poucas empresas investiram em análises prescritivas mas muitos analistas acreditam que esta será a próxima grande área de investimento quando as organizações começarem a colher os benefícios deste tipo de análise. O mercado para tecnologias de “Big Data” é diverso e está constantemente a sofrer alterações. Mas talvez, em breve, as ferramentas de análise prescritiva e preditiva irão oferecer conselhos acerca do que está para vir no que toca a Big Data, tal como o que as empresas deverão fazer acerca disso.
Clustering. Esta é uma técnica muito popular no tratamento de grandes volumes de dados. É particularmente útil quando os dados não estão estruturados. Frequentemente este é o típico caso de “Big Data” do mundo real. Diferentes abordagens de clustering foram exploradas por cientistas de dados e novas variantes têm emergido tendo em vista o tratamento de “Big Data”. O clustering pode ser feito por uma única máquina ou poderá ser alargado a várias máquinas quando os dados estão armazenados de uma forma distribuída. O clustering paralelo também é muito útil no tratamento de “Big Data” distribuída.
Métodos estatísticos. Além da média, mediana, moda, correlação, regressão etc, existe uma ampla gama de medidas estatísticas que podem ajudar na procura da informação útil a partir de conjuntos de dados volumosos caracterizando a mesma para análise. Diferentes análises baseadas em decis e quartis aliadas a distribuições de frequência são úteis na análise de dados volumosos.