Big Data

Ciência de Dados

Cursando Pós em Big Data que me habilita para atuar e comandar times de Dados.

Além de buscar insights em um grande volume de dados e traduzi-los à linguagem de negócios, o profissional deve saber utilizar as mais avançadas ferramentas de exploração e visualização de dados disponíveis no mercado.

Além disso, gerenciar e tratar esse grande número de informação por meio de:

  • Análises exploratórias;
  • Visualização de dados SAS e Hadoop;
  • Machine Learning;
  • Deep Learning;
  • Incorporação de modelagem preditiva, entre outras habilidades que destacaremos a seguir;
  • Habilidades que devem ser desenvolvidas;

O profissional que atuará como cientista de dados precisa contar com aptidões básicas. Dentre elas estão:

Matemática O cientista de dados trabalha com números: resolução de problemas, estatísticas, probabilidades, Notação Sigma, Inferência Bayesiana, dentre outros assuntos relacionados à matemática.

Programação Durante as coletas — manipulação e análise de imensos bancos de dados —, é preciso executar soluções e ferramentas próprias dessa atividade e à linguagem de programação, como Python e R, que estão presentes em quase todos os bancos de dados e abrangem também SQL, MatLab, MongoDB e Spark.

Inglês Esse não é um requisito mandatório para se qualificar durante a formação de cientista de dados, mas possuir certo conhecimento no idioma pode ser uma grande vantagem competitiva.

Criatividade O objetivo de ser um cientista de dados é descobrir insights e gerar inteligência. A criatividade também é relevante, porque permite ao profissional antecipar necessidades de negócio, principalmente as que ainda não foram realizadas por nenhum segmento.

Pensamento lógico O pensamento lógico é outro ponto relevante, porque ajuda a realizar análises e agiliza o processo de aprendizado em Data Science. Por fim, é preciso ter habilidade com números, já que eles são utilizados em diferentes aspectos, inclusive nos algoritmos de machine learning, deep learning e estatística, que é parte essencial da Ciência de Dados.

Storytelling Por fim, vale a pena criar habilidades no data storytelling — porque ajuda a transformar os itens coletados em elementos para narrativas visuais e facilita a tomada de decisão — e data mining, ou seja, mineração de dados, processo que identifica informações relevantes para obter conhecimento sobre o negócio, produto ou concorrência.

Data Analytics A definição simples de data analytics é que esta é a ciência de examinar dados brutos para poder extrair conclusões e informações de valores a respeito daquele dado. Geralmente, envolve aplicar um algoritmo ou um processo de automação para extrair esses insights. A análise de dados sempre obtém suas conclusões a partir de conhecimentos que o pesquisador já possui, isso significa que seu foco é na inferência. Cientistas e pesquisadores, por exemplo, utilizam data analytics para verificar ou desacreditar modelos e hipóteses. Já empresas, utilizam para validar tomadas de decisões. O analista de dados podem utilizar ferramentas como SAS e R para extrair dados e procurar informações de valor, mas não é algo mandatório no dia a dia do profissional. Seu trabalho envolve responder questões de rotina, que geralmente são determinadas pela empresa. Para trabalhar com data analytics não é fundamental conhecer linguagens de programação como R e Python. No entanto, é essencial possuir facilidade com números e afinidade com estatística. Para analistas de dados, a habilidade de conseguir transformar os dados em algo que possa ser facilmente visualizado ou de conseguir comunicar adequadamente as informações de valores extraídas faz toda a diferença no momento de apresentar resultados. Por isso, é importante que um analista não seja só focado na parte exata, mas também consiga exercer criatividade. Atualmente, algumas das muitas áreas que mais fazem uso dos conhecimentos e habilidades de um analista de dados são saúde, viagem, jogos e gerenciamento de energia. Coletar e interpretar dados consegue auxiliar desde a eficiência no atendimento de pacientes até a otimização de distribuição de energia elétrica para cidades.

Big Data A principal característica que difere Big Data de Data Analytics e Data Science é o volume de dados, que aqui, como o próprio nome sugere, é grandioso. Sendo assim, você não consegue usar as mesmas ferramentas e modelos estatísticos que usaria em volumes menores de dados. Como é impossível processar todos esses dados usando a memória de um único computador, os dados brutos podem ser estruturados ou não estruturados. No dia a dia de uma empresa, a Big Data pode se tornar uma grande inundação se não for tratada adequadamente. Existem três "V" que definem Big Data: volume, velocidade e variedade. A quantidade de dados gigantesca chega em altíssima velocidade e com uma grande variedade de informações que precisam ser selecionadas. Para ser um profissional da área, existem algumas habilidades em comum que são necessárias para qualquer um que queira se envolver com dados. Mas o diferencial está na capacidade analítica para conseguir determinar quais dados desse grande volume são de fato relevantes para sua busca. Também é preciso ser criativo, assim como os analistas de dados, para conseguir encontrar novas formas de coletar, interpretar, analisar e organizar sua estratégia. Por fim, é preciso ter visão de negócios, estar por dentro dos objetivos que estão sendo traçados para a empresa e entender os processos que buscam crescimento e aumento de lucros. Isso porque big data é usado para auxiliar na definição de estratégias e tomadas de decisões, e atualmente tem sido fundamental para diminuir gastos e aumentar receitas. O mais comum para quem atua como analista na área de Big Data é trabalhar em grandes instituições financeiras, já que estas são as empresas que mais possuem e coletam dados ao nosso redor. Pode ser em bancos, empresas de seguro, cartão de crédito, entre outros. Outras áreas de atuação comuns são as áreas de telecomunicação e varejo. O desafio está na capacidade de conseguir analisar grandes quantidades de dados gerados todos os dias de fontes diferentes e conseguir extrair o que é mais relevante.

Data Science O cientista de dados, assim como o analista de big data, também pode lidar com dados estruturados ou não estruturados. Mas o diferencial está em ir além de simplesmente responder perguntas, como fazem os dois profissionais acima. Quem trabalha com data science precisa saber fazer as perguntas certas e prever cenários futuros a partir da análise e extração de dados. Data science é a soma de matemática, programação, estatística, machine learning, solução de problemas e a habilidade de capturar, limpar, preparar e alinhar os dados. Os conhecimentos aplicados e necessários para um cientista de dados são mais específicos e técnicos, como a importância de conhecer linguagens como Python, R, SAS, Java, Perl, C/C++, e plataformas como Hadoop e SQL. As áreas de atuação são inúmeras e os cargos se concentram principalmente em mecanismos de buscas, marketing digital e sistemas de recomendação, quando você recebe uma recomendação baseada em uma pesquisa prévia. É o cientista de dados quem define o algoritmo que entregará a resposta da sua pesquisa no Google em uma fração de segundos. Também é o data science que define o alcance de anúncios em sites e redes sociais, ou que auxilia na experiência do usuário na hora de encontrar um produto ou serviço específico em um oceano de ofertas. Esses são só alguns dos exemplos das muitas possíveis formas de aplicar data science no dia a dia de uma empresa ou de um negócio.