Și de ce este o mare afacere?
"Datele mari" reprezintă noua știință a înțelegerii și a prezenței comportamentului uman prin studierea volumelor mari de date nestructurate. Datele mari sunt, de asemenea, cunoscute ca "analize predictive".
Analizând postările din Twitter, feedurile Facebook, căutările pe eBay, trackerele GPS și mașinile ATM sunt câteva exemple de date importante. Studierea videoclipurilor de securitate, a datelor despre trafic, a modelelor meteorologice, a sosirilor de zbor, a jurnalelor de telefoane mobile și a traductoarelor pentru ritmul cardiac sunt alte forme. Datele mari sunt o nouă știință murdară care se schimbă săptămânal, iar câțiva experți înțeleg totul.
Care sunt câteva exemple de date mari în viața obișnuită?
În timp ce majoritatea proiectelor de date sunt foarte obscure, există exemple de succes de date importante care afectează viața de zi cu zi a persoanelor, a companiilor și a guvernelor:
Previziuni ale focarelor de viruși: prin studierea datelor socio-politice, a datelor meteorologice și climatice și a datelor spitalicești / clinice, acești oameni de știință prevăd acum focare de febră dengue cu o notificare prealabilă de 4 săptămâni.
Homicide Watch: acest mare proiect de date prezintã victimele victimelor crimelor, suspecþilor ºi criminalilor din Washington, DC. Atât ca o modalitate de a onora pe cei decedați, cât și ca resursă de conștientizare pentru oameni, acest mare proiect de date este fascinant.
Transit Travel Planning, NYC: Programatorul de radio WNYC Steve Melendez a combinat programul de metrou on-line cu software-ul itinerariilor de călătorie. Crearea sa îi permite celor din New York să facă clic pe locația lor pe hartă și va apărea o predicție a timpului de călătorie pentru trenuri și metrou.
Xerox și-a redus pierderea forței de muncă: munca prin intermediul unui call center este epuizantă din punct de vedere emoțional. Xerox a studiat rapoartele de date cu ajutorul analiștilor profesioniști și acum ei pot anticipa care angajații centrelor de telecomunicații vor rămâne cu compania cea mai lungă.
Sprijinirea combaterii terorismului: prin studierea mediilor sociale, a înregistrărilor financiare, a rezervărilor de zboruri și a datelor de securitate, autoritățile de aplicare a legii pot prezice și localiza suspecții de terorism înainte de a-și face faptele rele.
Ajustarea marketingului de marcă bazat pe revizuirea social media : oamenii împărtășesc cu blânde și rapiditate gândurile lor online într-un pub, restaurant sau club de fitness. Este posibil să studiezi aceste milioane de postări în mass-media sociale și să oferiți feedback companiei despre ce gândesc oamenii despre serviciile lor.
Cine folosește date mari? Ce fac cu ea?
Multe corporații monolitic utilizează date mari pentru a ajusta ofertele și prețurile pentru a maximiza satisfacția clienților.
- De exemplu, magazinul universitar al lui Macy utilizează date importante pentru a-și ajusta prețurile în mișcare pentru peste 70 de milioane de produse. Ei chiar trimit emailuri personalizate clienților lor pe baza a ceea ce Macy crede că sunt interesați.
- Reacția poliției la bombardarea de la Boston Marathon : prin utilizarea unor date importante pentru a studia imagini video și de supraveghere, poliția a reușit să-și restrângă rapid căutarea suspecților.
- Morton's Steakhouse utilizează Twitter pentru a scoate cascadele de marketing, inclusiv faimoasa livrare de la New Jersey a unei fripturi de porterhouse și cină de creveți.
- Visa utilizează date importante pentru identificarea și capturarea fraudelor. Operațiunile unice aici și acolo pot ascunde cu ușurință un utilizator necinstit de card de credit, dar uitându-se cu atenție la milioane de tranzacții, pot fi detectate modele de fraudă.
- Facebook folosește date mari pentru a personaliza publicitatea . Studiind cu atenție obiceiurile și obiceiurile de navigare ale FB-ului tău, gigantul mass-media socială are o perspectivă atentă asupra gusturilor tale. Anunțurile bara laterală pe care le vedeți pe feedul dvs. Facebook sunt alese de algoritmi foarte deliberați și complexi care vă urmăresc obiceiurile Facebook.
De ce sunt date mari o astfel de mare afacere?
4 lucruri fac importante date importante:
1. Datele sunt masive. Acesta nu se va potrivi pe un singur hard disk , cu atât mai puțin un stick USB . Volumul de date depășește cu mult ceea ce mintea umană poate percepe (gândiți-vă la un miliard de miliarde de megabyte și apoi înmulțiți cu mai multe miliarde).
2. Datele sunt murdare și nestructurate. 50% până la 80% din munca mare de date este de conversie și de curățare a informațiilor astfel încât să fie căutate și direcționate. Doar câteva mii de experți de pe planeta noastră știu complet cum să facă această curățare a datelor. Acești experți au, de asemenea, nevoie de instrumente foarte specializate, cum ar fi HPE și Hadoop, pentru a-și realiza meseria. Poate că, în 10 ani, experții de date mari vor deveni un dime duzină, dar pentru moment sunt o specie foarte rară de analist, iar munca lor este încă foarte obscură și obositoare.
3. Datele au devenit o marfă ** care poate fi vândută și cumpărată. Există piețe de date în care companiile și persoanele fizice pot cumpăra terabyte de conținut media social și alte date. Majoritatea datelor sunt bazate pe cloud, deoarece sunt prea mari pentru a se încadra pe un singur hard disk. Cumpărarea datelor implică, de obicei, o taxă de abonament în cazul în care vă conectați la o fermă server de tip cloud.
** Liderii instrumentelor și ideilor mari de date sunt Amazon, Google, Facebook și Yahoo. Deoarece aceste companii servesc atât de multe milioane de oameni cu serviciile lor online, este logic ca acestea să fie punctul de colectare și vizionarii din spatele analizelor mari de date.
4. Posibilitățile de date mari sunt nesfârșite. Poate medicii vor prezice într-o zi atacurile de inimă și stroke pentru persoane cu câteva săptămâni înainte de a se întâmplă. Accidentele avioanelor și ale automobilelor ar putea fi reduse prin analize predictive ale datelor lor mecanice și ale traficului și ale modelelor meteorologice. Dating online poate fi îmbunătățită prin faptul că aveți predictori mari de date despre care sunt personalități compatibile pentru dvs. Muzicienii ar putea înțelege ce compoziție muzicală este cea mai plăcută pentru gusturile în schimbare ale publicului țintă. Nutriționiștii ar putea să prezică ce combinație de alimente cumpărate în magazin va agrava sau va ajuta la condițiile medicale ale unei persoane. Suprafața a fost doar zgâriată, iar descoperirile din datele mari se întâmplă în fiecare săptămână.
Datele mari sunt murdare
Datele mari sunt analiza predictivă: conversia datelor masive nestructurate în ceva care poate fi căutat și determinat. Acesta este un spațiu dezordonat și haotic care necesită un anumit tip de cunoștințe și răbdare.
Luați, de exemplu, serviciul de livrare monolit UPS. Programatorii de la UPS studiază datele de la GPS-ul și telefoanele smartphone-urilor lor pentru a analiza cele mai eficiente metode de adaptare la congestionarea traficului. Aceste date GPS și smartphone sunt gigant și nu sunt automat pregătite pentru analiză. Aceste date se varsă din diferite baze de date GPS și de hărți, prin diferite dispozitive hardware smartphone. Analiștii UPS au petrecut luni transformând toate aceste date într-un format care poate fi ușor căutat și sortat. Efortul a meritat, totuși. Astăzi, UPS a salvat peste 8 milioane de galoane de combustibil de când au început să folosească aceste analize de date mari.
Deoarece datele mari sunt dezordonate și necesită atât de mult efort pentru curățarea și pregătirea pentru utilizare, oamenii de știință din domeniul datelor au devenit porecliți ca "arhitecți de date" pentru toată munca plictisitoare pe care o fac.
Știința privind datele mari și analizele predictive se îmbunătățește în fiecare săptămână. Așteptați date mari pentru a deveni ușor accesibile tuturor până în anul 2025.
Nu sunt date mari o amenințare intruzivă pentru confidențialitate?
Da, dacă legile noastre și apărările individuale ale confidențialității nu sunt gestionate cu atenție, atunci datele mari intră în intimitatea personală. În prezent, Google , YouTube și Facebook vă urmăresc deja obiceiurile zilnice online . Viața dvs. smartphone și de calcul lasă zilnic amprente digitale, iar companiile sofisticate studiază acele urme.
Legile din jurul datelor mari evoluează. Confidențialitatea este o stare de existență pe care acum trebuie să-i asumați responsabilitatea personală, pentru că nu mai puteți aștepta ca pe un drept implicit.
Ce puteți face pentru a vă proteja confidențialitatea:
Cel mai mare pas pe care îl puteți lua este de a vă înfunda obiceiurile zilnice folosind o conexiune de rețea VPN . Un serviciu VPN va comuta semnalul astfel încât identitatea și locația dvs. să fie măcar parțial mascate de la trackere. Acest lucru nu te va face 100% anonim, dar o rețea VPN va reduce în mod substanțial cât de mult vă poate respecta lumea obiceiurile online.
Unde pot afla mai multe despre datele mari?
Datele mari sunt un lucru fascinant pentru oamenii cu minți analitice și pentru dragostea pentru tehnologie. Daca esti tu, atunci viziteaza cu siguranta aceasta pagina de proiecte interesante de date mari.