UFSystems

sexta-feira, 9 de setembro de 2016

Slide do seminário

Lógica de programação, algoritmos e big data from Rodrigofn

terça-feira, 6 de setembro de 2016

Estrutura de dados é o método de armazenamento de dados, de forma lógica e organizada em um computador, para que possam ser usados de modo eficiente.

O algoritmos manipulam dados. Quando esses dados estão organizados de maneira coerente, trata-se de uma estrutura de dados.

A organização e o método é que conferem singularidade a cada estrutura de dados.

Disponível em: http://www.ebah.com.br/content/ABAAABga0AB/engenharia-software-06

Os dados podem ser organizados em tipos primitivos de dados ou estrutura de dados.

Os tipos primitivos de dados são comumente divididos em quatro categorias: inteiro, real, lógico e texto. As estruturas de dados são varias, sendo as mais conhecidas: vetores, pilha, fila. lista, árvores e grafos.

Bibliografia:
•http://www.ime.usp.br/~pf/estruturas-de-dados/
•http://www.dca.fee.unicamp.br/cursos/EA876/apostila/HTML/node10.html
•http://www.ft.unicamp.br/liag/siteEd/
•http://www.inf.puc-rio.br/~inf1620/material.html

terça-feira, 23 de agosto de 2016

A previsão do tempo segundo a Big Data.

Não confia na previsão do tempo? A Big Data para mudar isso.

Fonte: http://cdn01.androidauthority.net/wp-content/uploads/2013/05/weather-signal.jpg

Já ouviu falar do WeatherSignal? Ele é um app que usa os diversos sensores dos smartphones - que medem luz, humidade e temperatura, entre outras coisas – para mapear leituras atmosféricas. Os dados coletados pelos aparelhos vão para a Big Data e a partir da análise deles é feita a previsão.

É claro, quanto mais usuários enviam informações, mais dados entram nas estatísticas e mais precisa fica a previsão. Por isso, quanto mais pessoas contribuírem, melhor.

Felizmente, também temos outras fontes de informações que irão melhorar a meteorologia no futuro. Graças a outro tipo de tecnologia que será cada vez mais presente, a Internet of Things (IoT) ou internet das coisas, não só os smartphones irão dar sua contribuição, como também os carros, casas, prédios e todo tipo de sensor colocado ao ar livre que transformarão cidades em smart cities, irão também enviar dados que serão reunidos e analisados através da Big Data e tornarão muito mais precisa a previsão do tempo.

Não iremos chegar ao nível de De Volta para o Futuro parte 2, mas teremos algo muito mais confiável do que a loteria que é a meteorologia hoje.

Fonte: https://farm6.staticflickr.com/5745/22174049100_e5764ca12e_o.gif

Fontes:

WeatherSignal
Scientific American
Econsultancy

ZDNet

segunda-feira, 15 de agosto de 2016

Big Data: o segredo do sucesso de House of Cards

Fonte: http://www.christiantoday.com/

A big data é muito importante para a Netflix. Através da análise dos dados ela faz recomendações de conteúdos de sua biblioteca para o usuário. Entretanto, o seu uso vai muito além disso: é possível também prever se algo ainda não produzido fará sucesso no futuro.

Kevin Spacey era um ator muito popular entre os usuários da Netflix. Também havia uma outra boa parcela que gosta muito dos filmes dirigidos por David Fincher. A série britânica House of Cards – cujos dois primeiros episódios, dirigidos por Fincher, determinaram o tom da série - despertava interesse de uma parte razoável dos usuários. Ao cruzar os dados, os analistas identificaram que a interseção desses três grupos resultava em um outro bem grande.

O uso da Big Data não para por aí. House of Cards não teve apenas um trailer, mas vários, que eram exibidos de acordo com o perfil do usuário. Para os fãs de Kevin Spacey era exibido o trailer que tinha mais cenas dele. Quem gostava de conteúdo protagonizado mulheres via uma versão que destacava as personagens femininas e assim por diante.

Hoje, House of Cards é um dos principais conteúdos da Netflix e uma das séries mais populares do momento. Tudo isso graças à análise correta dos dados da Big Data

Fontes:
http://thenextweb.com/insider/2016/03/20/data-inspires-creativity/#gref
http://www.nytimes.com/2013/02/25/business/media/for-house-of-cards-using-big-data-to-guarantee-its-popularity.html?_r=0

domingo, 14 de agosto de 2016

Shazam e o futuro da música.

Já escutou alguma música que você gostou e queria ouvir de novo, mas não sabia o nome do artista? A solução para o seu problema pode ser um aplicativo chamado Shazam. Basta apertar um botão e ele te diz o nome da música, o artista e onde escutar, entre outras informações. Isso é possível pois ele vasculha a big data em busca daquela música.

Fonte: http://s3.amazonaws.com/digitaltrends-uploads-prod/2013/07/shazam-app-iphone.jpg

Toda vez que alguém usa o Shazam, informações como localização do usuário, música buscada e histórico de busca são coletadas. Ao cruzar esses dados, é possível prever quem será o novo superstar, qual será o hit do verão e traçar as características em comum dos grandes sucessos. Graças a isso, a indústria fonográfica está passando por uma revolução. Se antes os produtores iam a shows procurar o novo grande artista baseados em feeling e experiência, agora fazem o mesmo através do computador baseados em análises de dados. Os compositores compõem baseados em padrões musicais observados nos últimos grandes hits.

Dessa forma, nós também podemos facilmente prever o futuro da indústria fonográfica e dizer que ela tende a aumentar o uso da big data para moldar o que a gente vai ouvir nos próximos anos ou até, quem sabe, décadas.

Fonte:
https://www.theguardian.com/technology/datablog/2013/dec/10/shazam-big-data-prediction-breakthrough-music-artists
https://www.youtube.com/watch?v=R-LTyevbcgo

Como funcionam as recomendações e anúncios na internet?

Fonte: http://www.feedster.com/wp-content/uploads/2016/07/F13.jpg

Já reparou que todos os sites de e-comerce te sugerem produtos? Já pensou em como eles decidem o que recomendar? Provavelmente você já reparou que é baseado nos produtos que você visitou recentemente, mas existe muito mais por trás disso do que você pensa.

Toda vez que você acessa um site de compras, toda sua atividade é registrada. Não apenas compras e visitas, mas também tempo de permanência em cada página, como você chegou no site, navegador e tipo de aparelho usado, entre outras coisas.

Todas as informações coletadas são armazenadas na big data. Eles são então cruzados e analisados para para que, baseada neles, a empresa possa traçar estratégias para atender suas metas. Isso inclui não apenas te fazer uma recomendação, mas também modificar o layout do site de acordo com o uso dos clientes para melhorar sua navegabilidade e posicionar conteúdo em lugares estratégicos para que possam ser visualizados da forma desejada pela empresa. O setor de marketing pode construir um calendário de promoções que vai além das datas comemorativas como dia dos pais e incluir promoções de produtos específicos em datas específicas, além de saber como tornar essas promoções mais efetivas e por quanto vender os produtos.

Ao analisar não só seu comportamento de consumo, mas também o de muitos outros usuários, é possível traçar relações. Por exemplo, pessoas que gostam de Friends também gostam de How I Met Your Mother, logo, se você se encaixa no primeiro caso, a Amazon vai te recomendar um box e a Netflix vai sugerir que você assista How I Met Your Mother. O mesmo acontece com Spotify, Youtube e outros do tipo. O Facebook Ads funciona de forma semelhante, mas nele as empresas têm que pagar para terem suas páginas, publicações e anúncios promovidos.

Da mesma forma funciona a publicidade online. Baseado na sua busca, o Google Ads apresenta links patrocinados. Ao pesquisar All Star, por exemplo, os primeiros links vão ser de lojas que vendem calçados. Ao clicar, você será direcionado para a página escolhida pelo anunciante e ele pagará um valor predeterminado pelo buscador.

Da próxima vez que você receber uma recomendação ou ver publicidade online, lembre-se que o que está sendo mostrado é baseado no seu comportamento na rede em relação ao de milhões de outras pessoas armazenados na big data e que é melhor ver anúncios de produtos ou serviços nos quais você está interessado do que dos quais você não está.

Fonte:

http://gizmodo.com/how-online-ads-work-1530627881
http://computer.howstuffworks.com/web-advertising.htm

terça-feira, 26 de julho de 2016

O que é Hadoop?

Fonte: https://www.airpair.com/hadoop/hadoop-expert-patrick-lie

Imagine que você está em uma biblioteca gigantesca e você precisa de dados que estão espalhados por seus livros. Como você faria isso? Esse era o problema das empresas: como analisar a colossal Big Data?

Voltemos ao nosso exemplo. Você poderia ler os livros de um por um, sozinho. Seria necessário muito tempo para leitura e queimar muitos neurônios para analisar tudo. Uma alternativa seria formar um grupo e dividir o trabalho entre os membros e depois cruzar os resultados que cada um obteve, o que economizaria muito tempo e aumentaria a capacidade de processamento das informações. Esse processo é chamado de MapReduce, que é a junção dos métodos Map() e Reduce().

Suponhamos que nós queremos saber qual foi a temperatura máxima em 5 cidades diferentes em um período de 30 dias. Cada um desses dias gerou uma tabela com a cidade e a temperatura correspondente, que serão distribuídas entre 30 servidores que farão análises individuais e informarão os resultados. O próximo passo (chamado de Shuffle) é organizar os dados e - através do Reduce() - finalmente serão unificados em um único resultado.

Fonte: http://blog.sqlauthority.com/2013/10/09/big-data-buzz-words-what-is-mapreduce-day-7-of-21/

Mas onde ficam todos esses dados? Digamos que seu HD tem capacidade de armazenamento de 1Tb, mas você precisa de 10Tb. O que você faz? Poderia simplesmente comprar outros 9 HDs de 1Tb e distribuir seus arquivos. Mas e se quando você precisar de um deles, não conseguir encontrá-lo? Seria melhor então comprar outros 10 HDs de 1 Tb e fazer backup de todos os seus arquivos, pois se algo der errado com um HD, você pode contar com a cópia.

Esse conjunto de HDs garante maior capacidade de armazenamento, maior confiabilidade – devido à existência de cópias dos mesmos arquivos em nodes (HDs) diferentes – e maior velocidade de processamento, pois mais de um node é usado ao mesmo tempo. O Hadoop Distributed File System (HDFS) é esse conjunto de sistemas de armazenamento de dados (cluster).

Juntos, HDFS e MapReduce formam o Hadoop, framework utilizado para armazenamento e processamento de dados da Big Data que é open source, baseado em Java e gerenciado pela Apache Software Foundation. A ideia original veio de dois artigos do Google: Google File System e MapReduce: Simplified Data Processing on Large Clusters. Hadoop recebeu esse nome inspirado no elefante amarelo de brinquedo do filho de Doug Cutting, que junto com Mike Cafarella criou o serviço em 2005 enquanto ainda trabalhavam no Yahoo. Hoje, o Hadoop é utilizado por gigantes como Google, Facebook, Twitter, eBay, Microsoft, IBM e o próprio Yahoo, entre outros.

Fontes:
http://blog.sqlauthority.com/2013/10/09/big-data-buzz-words-what-is-mapreduce-day-7-of-21/
https://www-01.ibm.com/software/data/infosphere/hadoop/mapreduce/
https://en.wikipedia.org/wiki/MapReduce
https://en.wikipedia.org/wiki/Apache_Hadoop
http://www.sas.com/en_my/insights/big-data/hadoop.html
https://www.youtube.com/watch?v=9s-vSeWej1U
http://searchcloudcomputing.techtarget.com/definition/Hadoop
http://www.wired.com/2011/10/how-yahoo-spawned-hadoop/

O que é Big Data?

Imagine que você tem um diário. Nele você anota diariamente tudo o que você faz e como faz. Atividades, horários, trajetos e tudo mais fica registrado. Com o tempo, qualquer um que ler seu diário terá uma boa ideia de quem você é, como se comporta, o que faz.

Agora imagine que você guarda esse diário em uma biblioteca chamada Big Data que contém os diários de uma boa parte dos 7 bilhões de pessoas que habitam nosso planeta. Quer saber se o Tony Ramos realmente compra carne Friboi? Olhe o histórico de compras dele.

Vamos ser mais ambiciosos. Qual a porcentagem de pessoas que ao comprar goiabada também compram queijo no estado de Goiás? É pra responder questões como essa que a Big Data é utilizada. A soma das informações coletadas é analisada por empresas para entender melhor seu público e a partir daí traçar suas estratégias.

Big Data é qualquer coleção de informações grande demais para ser analisada por meios convencionais. Ela é definida por quatro características chamadas de ‘os quatro Vs’: volume, variedade, velocidade e veracidade.

Volume é a quantidade de informações.
Velocidade é a rapidez com que os dados são processados.
Variedade é a diversidade de informações e suas fontes.
Veracidade diz respeito a quão relevantes e precisos os dados são.

Fonte: https://www-01.ibm.com/software/data/bigdata/images/4-Vs-of-big-data.jpg

O objetivo da Big data é gerar valor para as empresas. Através da análise dos dados é possível prever o comportamento do consumidor e do mercado, mapear focos de doenças e fazer uma previsão do tempo mais acurada, ente outras coisas.