Cada vez mais informação é gerada diariamente por empresas e pessoas, dados importantes para as estratégias de internas e de mercado das organizações. Por isso, o volume tem de ser coletado e filtrado, para apenas o que tem valor para as análises ser utilizado diante das necessidades do negócio.
A mineração de dados (data mining) realiza esse filtro e qualifica as análises das informações, otimizando os recursos e esforços aplicados pela empresa em Business Intelligence.
A seguir, vamos conceituar a mineração e suas principais modelagens e mostraremos como aplicá-la na indústria. Acompanhe-nos.
Como funciona a mineração de dados
O conceito geral de data mining — explorar e lapidar informações de bancos de dados e fontes diversas — acaba sendo muito simplista para explicarmos como a mineração funciona. Portanto, vamos abordar três dos principais modelos utilizados nesse processo para mostrar de que maneira ele se desenvolve.
Modelagem descritiva
Esse modelo se empenha em identificar padrões e regras a partir dos dados analisados, assim como esclarecer motivos pelos quais ações e estratégias tiveram os resultados que a empresa conhece. Dentro desse tipo de trabalho estão práticas como:
- agrupamento de informações semelhantes;
- detecção de discrepâncias em face dos padrões;
- relação entre diferentes dados;
- relação entre variáveis e seus movimentos.
Modelagem preditiva
Como o nome sugere, o intuito aqui é se adiantar a acontecimentos, como problemas internos ou oportunidades de mercado. Então, os usuários dos dados obtêm ideias de forma antecipada para agir diante do que é previsto.
O funcionamento desse processo depende de recursos como redes neurais (para aprendizado de máquina e realização de previsões) e árvores de decisão (diagramas que colocam possíveis ocorrências em pauta).
Modelagem prescritiva
Essa modelagem apoia a anterior, pois trata de trabalhar dados não estruturados, como aqueles espalhados pela internet sem atender a parâmetros, para enriquecer o banco e as análises da modelagem preditiva. O objetivo é dar ainda mais poder e abrangência para as previsões.
A modelagem prescritiva compreende etapas como desenvolvimento de regras de padronização para identificação de causas e efeitos e simulações de possíveis resultados para diferentes opções de processos.
Como aplicar a data mining
Definir os objetivos da aplicação
A mineração de dados sempre é implementada para se chegar a um ou mais objetivos. Então, essas metas têm de ser claramente estabelecidas por dois motivos principais: correto direcionamento de ações e recursos e avaliação coerente da eficiência e do retorno do processo.
Normalmente, os objetivos se alinham ao planejamento estratégico da empresa, sendo a mineração um meio para ajudar a alcançar metas globais de negócio. Por exemplo, se em uma reavaliação do planejamento, a diretoria enxerga a possibilidade de alcançar nova fatia de mercado, um dos resultados perseguidos pela data mining pode ser a de estudar o comportamento desse perfil e entendê-lo.
Adaptar modelagens a necessidades
Por exemplo, se a modelagem preditiva já é aplicada para obter insights sobre demandas de mercado, mas os resultados precisam ser refinados para um planejamento mais assertivo de ações, a modelagem prescritiva é o processo a ser implementado.
Por outro lado, se a hipótese é uma verificação dos processos logísticos e produtivos para detecção de gargalos e causas de problemas, a modelagem que se adapta é a descritiva. Ela vai focar no histórico dos dados internos obtidos para reconhecer padrões dos procedimentos e de processos indiretos.
Em suma, trata-se de observar critérios globais e segmentados, como os citados acima, para entender de quais formas o trabalho precisa ser modelado.
Eliminar redundâncias e duplicidades
Diferentes fontes e bancos de dados podem apresentar informações repetidas ou que, apesar de não serem exatamente iguais, geram as mesmas respostas. Isso faz com que o trabalho lide com volume acima do necessário e pode até mesmo modificar resultados pela soma incorreta de variáveis.
Nessa fase, a definição de parâmetros pode definir a unidade da informação ou a sobreposição de dados, fazendo com que duplicidades tenham um exemplar de informação eliminado ou ocorra a unificação dos exemplares.
Limpar os dados
Toda informação à qual uma empresa pode ter acesso em um processo de BI em geral é relevante. Porém, determinadas informações perdem a relevância para análises específicas. Daí a importância de limpar os dados: remover informação irrelevante para cada leitura a fim de os resultados produzidos não levarem em conta fatos e números inúteis para cada situação.
Minerar os dados e aplicar uma técnica
Com tudo pronto, algoritmos, softwares e hardwares podem rodar a modelagem definida anteriormente para processar as informações e obter respostas para auxiliar no alcance de objetivos da empresa ou efetivamente tê-los após a emissão dos relatórios da data mining.
Nesse momento, uma técnica de mineração precisa ser utilizada, e ela deve ser adequada à modelagem escolhida e às necessidades do processo. Na hipótese da aplicação de uma modelagem descritiva, duas técnicas interessantes são associação/relação e árvore de decisão.
A primeira técnica encontra informações que se associem ou possuam alguma relação, encontrando padrões de fatos ou fatores que se repitam de maneira associada. Uma relação que pode ser encontrada é entre datas e atrasos nas entregas: o índice de atrasos da logística aumenta conforme mais transportes são feitos em determinados dias da semana levando em conta um histórico de um ano ou mais.
Já a árvore gera respostas em cascata e cada nova resposta é mais específica que a anterior, entregando, por fim, diferentes respostas ou possibilidades diante da informação avaliada e lapidada. E essa técnica é bastante útil para que problemas e soluções ocultos apareçam e sejam considerados nas estratégias empresariais.
E como estamos abordando bancos de dados, é importante que a infraestrutura de TI utilize o tipo mais adequado para armazenar as informações que serão utilizadas em rotinas de setores e mineração de dados. Então, saiba quando utilizar Data Lake ou Warehouse para estruturar os dados armazenados.
