Big Data
Big data
O termo “Big Data” pode ser definido como uma quantidade de dados tão grande que não é passível de ser processado por métodos convencionais. O tamanho dos dados a partir dos quais estes podem ser considerados “Big Data” está constantemente a mudar com o contínuo desenvolvimento das tecnologias. A capacidade de processamento e armazenamento dos sistemas de computação melhoram continuamente ao longo do tempo, tornando assim a “Big Data” do passado mais facilmente processável atualmente.
Factores chave em bigdata
Segurança de Big Data. Devido ao facto dos repositórios de “Big Data” se apresentarem como um alvo atractivo para os hackers e outro tipo de ameaças persistentes avançadas, a segurança de “Big Data” é um grande e crescente factor de preocupação para as empresas. No inquérito realizado pela AtScale, a segurança foi apontada como a segunda maior área de preocupação relacionada com “Big Data” em termos de rapidez de crescimento.
Desafios no tratamento do Big data
Trabalhar os dados. O desafio associado mais óbvio ao “Big Data” é armazenar e analisar toda a informação que vem sendo produzida a uma velocidade significativa. No relatório Universo Digital, a IDC estima que a quantidade de informação armazenada nos sistemas TI tem vindo a duplicar de dois em dois anos. Até 2020, a quantidade total será suficiente para empilhar 6,6 montanhas de comprimidos tendo como base e limite a superfície terrestre e lua, respectivamente. De notar que 85% desta informação se deve às empresas. Muitos destes dados não são estruturados, o que significa que não se encontram numa base de dados. Documentos, fotografias, clipes de áudio, vídeos e outros dados não estruturados podem ser difíceis de procurar e analisar.
Soluções tecnológicas em bigdata
Têm surgido ao longo do tempo várias soluções para o armazenamento e análise eficiente de Big Data, tais como: ecosistema Hadoop, Spark, ambiente R, auto-serviço, computação de ponta e block-chain.
Armazenamento de dados
Lagos de Dados. Para facilitar o acesso aos seus vastos armazéns de dados, muitas empresas estão a montar lagos de dados. São repositórios de dados gigantes que recolhem dados das mais variadas fontes e armazenam-nos no seu estado natural. Tais repositórios são distintos de um armazém de dados, que também recolhe dados de diversas fontes, mas há processamento e estruturação destes. Neste caso, as metáforas do lago e armazém são bastante adequadas. Se os dados são como água, um lago de dados é natural e não é filtrado como um corpo de água, enquanto que um armazém de dados se assemelha mais a um conjunto de garrafas de água armazenados em prateleiras. Lagos de dados são particularmente atractivos quando as empresas querem guardar dados mas ainda não estão seguros de como os usar. Muitos dos dados relativos à Internet das Coisas (IoT) poderão adequar-se a essa categoria sendo que a moda IoT está a contribuir para o crescimento dos lagos de dados. A MarketsandMarkets prevê que as receitas provenientes dos lagos de dados passarão dos 2,53 biliões de dólares obtidos em 2016 para 8,81 biliões em 2021.
Pré-Processamento
O pré-processamento de dados é uma técnica de pesquisa de dados que envolve a transformação de dados brutos num formato compreensível. Os dados do mundo real são muitas vezes incompletos, inconsistentes, e/ou apresentam falhas em certos comportamentos ou modas, sendo provável que contenham muitos erros. O pré-processamento de dados é um método comprovado na resolução de tais problemas. O pré-processamento de dados prepara dados brutos para posterior processamento. As técnicas de pré-processamento são distintas para diferentes tipos de dados bem como problemas.
Compressão de dados
A compressão de dados permite o envio de um objecto de dados ou ficheiro por uma rede ou pela Internet de forma rápida, optimizando os recursos físicos de armazenamento. Aplicada amplamente nos serviços e soluções de computação, mais especificamente nas comunicações de dados. A compressão de dados funciona através de várias técnicas de compressão e soluções de software que usam algoritmos de compressão de dados com o intuito de reduzir o tamanho dos dados.
Compressão de imagem digital
A compressão de imagem digital é um campo que estuda as técnicas utilizadas na redução do número total de bits necessário para a representação de uma imagem. Tal pode ser alcançado através do processo de eliminação dos vários tipos de redundâncias que existem na imagem.