Trabalhar os dados. O desafio associado mais óbvio ao “Big Data” é armazenar e analisar toda a informação que vem sendo produzida a uma velocidade significativa. No relatório Universo Digital, a IDC estima que a quantidade de informação armazenada nos sistemas TI tem vindo a duplicar de dois em dois anos. Até 2020, a quantidade total será suficiente para empilhar 6,6 montanhas de comprimidos tendo como base e limite a superfície terrestre e lua, respectivamente. De notar que 85% desta informação se deve às empresas. Muitos destes dados não são estruturados, o que significa que não se encontram numa base de dados. Documentos, fotografias, clipes de áudio, vídeos e outros dados não estruturados podem ser difíceis de procurar e analisar.
Criando conhecimentos oportunos. As organizações não necessitam apenas de armazenar a sua “Big Data” mas também de a usar, de forma a atingir objectivos empresariais. De acordo com o estudo feito pelos “New Vantage Partners”, os objectivos mais comuns associados a projectos de “Big Data” têm que ver com:
- Redução das despesas através das eficiências de custo operacional
- Estabelecimento de uma cultura orientada por dados
- Criação de novas vias para a inovação e distorção
- Aceleração da rapidez com que as novas capacidades e serviços são lançados
- Lançamento de novos produtos e ofertas de serviço
De forma a alcançar esta rapidez, algumas organizações estão a direccionar-se para a criação de nova geração de ferramentas ETL (“Extract”, “Transfer” and “Load”) e de analítica, que contribuem para a redução drástica do tempo consumido na elaboração de relatórios. Estão a investir em software com capacidade de análise em tempo real o que lhes permite responder de forma imediata a desenvolvimentos do mercado.
Recrutar e reter talentos de Big Data. A fim de desenvolver, gerir e executar essas aplicações que geram conhecimento, as organizações precisam de profissionais com competências em Big Data. Tal facto levou ao aumento da procura por especialistas em “Big Data” tendo como consequência o aumento significativo dos salários dos profissionais que trabalham nesta área. De forma a poder lidar com a carência de talentos, as organizações optaram por algumas medidas.
Primeiro, muitas empresas estão a aumentar os seus orçamentos bem como os seus esforços de recrutamento e retenção. Segundo, estão a oferecer mais oportunidades de formação aos membros do seu staff na tentativa de desenvolver o talento de que tanto necessitam. Terceiro, muitas organizações estão a olhar para a tecnologia, comprando soluções analíticas com auto-serviço e/ou capacidades de aprendizagem automática. Concebidas para serem utilizadas por profissionais sem graus académicos em ciência de dados, estas ferramentas poderão ajudar as organizações a alcançar os objectivos relacionados com “Big Data” mesmo não tendo muitos especialistas nas suas equipas.
Integração de fontes díspares de dados. A variedade associada a “Big Data” leva ao aparecimento de desafios na integração de dados. “Big Data” deriva de uma variada fonte distinta de dados podendo tornar difícil a combinação e conciliação de todos esses dados de forma a poderem ser usados para a criação de relatórios. Os produtores de software oferecem uma variedade de ferramentas de ETL e integração de dados, concebidas para facilitar o processo, mas muitas empresas dizem que o problema da integração de dados ainda não está resolvido. Em resposta, muitas empresas estão a direccionar-se para novas soluções tecnológicas. No relatório elaborado pela IDG, 89% dos inquiridos responderam que as suas companhias pretendiam investir em novas ferramentas “Big Data” nos próximos 12 a 18 meses. Quando questionados acerca de que tipo de ferramentas estariam a planear adquirir, tecnologia de integração foi segunda na lista, apenas atrás de software de analítica de dados.
Validação dos dados. A ideia da validação de dados está proximamente relacionada com a ideia de integração de dados. Frequentemente, as organizações obtêm pedaços de informações de diferentes sistemas, e os dados nestes diferentes sistemas nem sempre correspondem. Por exemplo, o sistema “ecommerce” pode mostrar vendas diárias até certo ponto enquanto o sistema de planeamento de recursos empresariais (ERP) apresenta um número ligeiramente diferente. Ou então o sistema electrónico de registo de saúde de um hospital (EHR), que pode apresentar um endereço para um paciente, enquanto um parceiro farmacêutico tem registado um endereço diferente. O processo de acordo entre esses registos, bem como a certificação de que estes estão correctos, utilizáveis e seguros é chamado de governança de dados. No “AtScale 2016 “Big Data” Maturity Survey”, a área de preocupação em termos de rapidez de crescimento, citada pelos inquiridos foi a governança de dados. Resolver os desafios relacionados com este processo é bastante complexo e, normalmente, requer uma combinação de alteração de políticas e tecnologia. Muitas vezes, as organizações encarregam um grupo de pessoas de controlar a governança de dados e escrever um conjunto de políticas e procedimentos. Podem também investir nas soluções de gestão de dados criadas para simplificar a governança de dados e ajudar na garantia da precisão de armazéns de “Big Data” e dos conhecimentos que derivam destes.
Protecção de Big Data. A segurança é também uma grande preocupação para organizações com armazéns de Big Data. Afinal, alguns armazéns de “Big Data” podem ser alvos atractivos para hackers ou ameaças avançadas persistentes (APTs). No entanto, a maioria das organizações parece acreditar que os seus métodos de segurança actuais são suficientes para as suas necessidades de segurança de Big Data. No estudo realizado pela IDG, menos de metade dos inquiridos (39%) disseram que usavam medidas adicionais de segurança nos seus repositórios ou análises de Big Data, sendo que as mais populares incluem controlo de identidade e acesso (59%), encriptação de dados (52%) e segregação de dados (42%).
Resistência organizacional. Os aspectos tecnológicos de “Big Data” não são os únicos que podem ser desafiantes, as pessoas podem também ser um problema. No estudo realizado pela New Partners (4), 85,5 % dos inquiridos afirmaram que as suas empresas estavam empenhadas em criar uma cultura orientada por dados, mas apenas 37,1% destes reportaram o sucesso obtido com tais esforços. Quando questionados acerca da mudança de cultura, os inquiridos apontaram para três grandes obstáculos dentro das suas organizações:
- Insuficiente sintonia organizacional (4,6%)
- Falta de uma adoção e compreensão por parte dos quadros médios (41,0%)
- Resistência empresarial ou falta de compreensão (41,0%)
De forma a que as organizações capitalizem as oportunidades oferecidas por Big Data, estas terão de fazer certas coisas de forma diferente e esse tipo de mudança pode-se revelar tremendamente difícil para grandes organizações. O relatório PwC, recomendou, “Para melhorar as capacidades de tomada de decisão na sua empresa, deve continuar a investir em fortes líderes que compreendam as possibilidades do uso de dados e que desafiarão o negócio”. Uma maneira de estabelecer esse tipo de liderança passa por apontar um chefe responsável de dados, um passo tomado por 55,9% das empresas Fortune 1000, segundo a NewVantage Partners. No entanto, com ou sem um chefe responsável de dados, as empresas necessitam de executivos, directores e gestores que estejam empenhados em ultrapassar os desafios relacionados com Big Data, isto é, se quiserem permanecer competitivos na crescente economia orientada por dados.