Como funcionam as recomendações e anúncios na internet?

Fonte: http://www.feedster.com/wp-content/uploads/2016/07/F13.jpg

Já reparou que todos os sites de e-comerce te sugerem produtos? Já pensou em como eles decidem o que recomendar? Provavelmente você já reparou que é baseado nos produtos que você visitou recentemente, mas existe muito mais por trás disso do que você pensa.

Toda vez que você acessa um site de compras, toda sua atividade é registrada. Não apenas compras e visitas, mas também tempo de permanência em cada página, como você chegou no site, navegador e tipo de aparelho usado, entre outras coisas.

Todas as informações coletadas são armazenadas na big data. Eles são então cruzados e analisados para para que, baseada neles, a empresa possa traçar estratégias para atender suas metas. Isso inclui não apenas te fazer uma recomendação, mas também modificar o layout do site de acordo com o uso dos clientes para melhorar sua navegabilidade e posicionar conteúdo em lugares estratégicos para que possam ser visualizados da forma desejada pela empresa. O setor de marketing pode construir um calendário de promoções que vai além das datas comemorativas como dia dos pais e incluir promoções de produtos específicos em datas específicas, além de saber como tornar essas promoções mais efetivas e por quanto vender os produtos.

Ao analisar não só seu comportamento de consumo, mas também o de muitos outros usuários, é possível traçar relações. Por exemplo, pessoas que gostam de Friends também gostam de How I Met Your Mother, logo, se você se encaixa no primeiro caso, a Amazon vai te recomendar um box e a Netflix vai sugerir que você assista How I Met Your Mother. O mesmo acontece com Spotify, Youtube e outros do tipo. O Facebook Ads funciona de forma semelhante, mas nele as empresas têm que pagar para terem suas páginas, publicações e anúncios promovidos.

Da mesma forma funciona a publicidade online. Baseado na sua busca, o Google Ads apresenta links patrocinados. Ao pesquisar All Star, por exemplo, os primeiros links vão ser de lojas que vendem calçados. Ao clicar, você será direcionado para a página escolhida pelo anunciante e ele pagará um valor predeterminado pelo buscador.

Da próxima vez que você receber uma recomendação ou ver publicidade online, lembre-se que o que está sendo mostrado é baseado no seu comportamento na rede em relação ao de milhões de outras pessoas armazenados na big data e que é melhor ver anúncios de produtos ou serviços nos quais você está interessado do que dos quais você não está.



Fonte:

http://gizmodo.com/how-online-ads-work-1530627881
http://computer.howstuffworks.com/web-advertising.htm

O que é Hadoop?

Fonte: https://www.airpair.com/hadoop/hadoop-expert-patrick-lie

Imagine que você está em uma biblioteca gigantesca e você precisa de dados que estão espalhados por seus livros. Como você faria isso? Esse era o problema das empresas: como analisar a colossal Big Data?

Voltemos ao nosso exemplo. Você poderia ler os livros de um por um, sozinho. Seria necessário muito tempo para leitura e queimar muitos neurônios para analisar tudo. Uma alternativa seria formar um grupo e dividir o trabalho entre os membros e depois cruzar os resultados que cada um obteve, o que economizaria muito tempo e aumentaria a capacidade de processamento das informações. Esse processo é chamado de MapReduce, que é a junção dos métodos Map() e Reduce().

Suponhamos que nós queremos saber qual foi a temperatura máxima em 5 cidades diferentes em um período de 30 dias. Cada um desses dias gerou uma tabela com a cidade e a temperatura correspondente, que serão distribuídas entre 30 servidores que farão análises individuais e informarão os resultados. O próximo passo (chamado de Shuffle) é organizar os dados e - através do Reduce() - finalmente serão unificados em um único resultado.

Fonte: http://blog.sqlauthority.com/2013/10/09/big-data-buzz-words-what-is-mapreduce-day-7-of-21/

Mas onde ficam todos esses dados? Digamos que seu HD tem capacidade de armazenamento de 1Tb, mas você precisa de 10Tb. O que você faz? Poderia simplesmente comprar outros 9 HDs de 1Tb e distribuir seus arquivos. Mas e se quando você precisar de um deles, não conseguir encontrá-lo? Seria melhor então comprar outros 10 HDs de 1 Tb e fazer backup de todos os seus arquivos, pois se algo der errado com um HD, você pode contar com a cópia.

Esse conjunto de HDs garante maior capacidade de armazenamento, maior confiabilidade – devido à existência de cópias dos mesmos arquivos em nodes (HDs) diferentes – e maior velocidade de processamento, pois mais de um node é usado ao mesmo tempo. O Hadoop Distributed File System (HDFS) é esse conjunto de sistemas de armazenamento de dados (cluster).

Juntos, HDFS e MapReduce formam o Hadoop, framework utilizado para armazenamento e processamento de dados da Big Data que é open source, baseado em Java e gerenciado pela Apache Software Foundation. A ideia original veio de dois artigos do Google: Google File System e MapReduce: Simplified Data Processing on Large Clusters. Hadoop recebeu esse nome inspirado no elefante amarelo de brinquedo do filho de Doug Cutting, que junto com Mike Cafarella criou o serviço em 2005 enquanto ainda trabalhavam no Yahoo. Hoje, o Hadoop é utilizado por gigantes como Google, Facebook, Twitter, eBay, Microsoft, IBM e o próprio Yahoo, entre outros.



Fontes:
http://blog.sqlauthority.com/2013/10/09/big-data-buzz-words-what-is-mapreduce-day-7-of-21/
https://www-01.ibm.com/software/data/infosphere/hadoop/mapreduce/
https://en.wikipedia.org/wiki/MapReduce
https://en.wikipedia.org/wiki/Apache_Hadoop
http://www.sas.com/en_my/insights/big-data/hadoop.html
https://www.youtube.com/watch?v=9s-vSeWej1U
http://searchcloudcomputing.techtarget.com/definition/Hadoop
http://www.wired.com/2011/10/how-yahoo-spawned-hadoop/