Çfarë është saktësisht 'të dhëna të mëdha'?

Dhe pse është një marrëveshje e madhe?

'Të dhëna të mëdha' janë shkenca e re e të kuptuarit dhe parashikimit të sjelljes njerëzore duke studiuar vëllime të mëdha të të dhënave të pastrukturuara. Të dhënat e mëdha njihen gjithashtu si 'analitiku parashikuese'.

Duke analizuar postimet në Twitter, Facebook-et, kërkimet në eBay, gjurmuesit e GPS dhe makinat ATM janë disa shembuj të mëdhenj të të dhënave. Studimi i videove të sigurisë, të dhënat e trafikut, modelet e motit, arritjet e fluturimit, shkrimet e kullave të celularëve dhe gjurmuesit e normës së zemrës janë forma të tjera. Të dhënat e mëdha janë një shkencë e çrregullt që ndryshon çdo javë, dhe vetëm disa ekspertë e kuptojnë atë.

Cilat janë disa shembuj të të dhënave të mëdha në jetën e rregullt?

screenshot http://project.wnyc.org/transit-time

Ndërsa shumica e projekteve të mëdha të të dhënave janë shumë të errët, ekzistojnë shembuj të suksesshëm të të dhënave të mëdha që ndikojnë në jetën e përditshme të individëve, kompanive dhe qeverive:

Parashikimi i shpërthimeve të virusit: duke studiuar të dhëna socio-politike, të dhënat e motit dhe klimës, dhe të dhënave spitalore / klinike, këta shkencëtarë po parashikojnë shpërthime të etheve të etheve me 4 javë përpara.

Vëzhgimi i vrasjeve: ky profil i madh i të dhënave përfshin vrasje të viktimave, të dyshuarve dhe kriminelëve në Uashington, DC. Si një mënyrë për të nderuar të vdekurit dhe si një burim ndërgjegjësimi për njerëzit, ky projekt i madh i të dhënave është interesant.

Planifikimi i udhëtimeve tranzit, NYC: Programeri i radios WNYC Steve Melendez kombinon orarin online të metrosë me programin e itinerarit të udhëtimit. Krijimi i tij i lejon njujorkezët të klikojnë vendndodhjen e tyre në hartë, dhe do të shfaqet një parashikim i kohës së udhëtimit për trenat dhe metro.

Xerox reduktoi humbjen e fuqisë punëtore: puna e qendrës së thirrjeve është rraskapitëse emocionalisht. Xerox ka studiuar reams të të dhënave me ndihmën e analistëve profesionistë, dhe tani ata mund të parashikojnë se cilat qendra të thirrjeve qendrore kanë gjasa të qëndrojnë me kompaninë më të gjatë.

Mbështetja kundër terrorizmit: duke studiuar mediat sociale, të dhënat financiare, rezervimet e fluturimit dhe të dhënat e sigurisë, zbatimi i ligjit mund të parashikojë dhe të gjejë të dyshuar terroristë para se të bëjnë veprat e tyre të këqija.

Rregullimi i marketingut të markës bazuar në rishikimet e mediave sociale : njerëzit bluntly dhe shpejt ndajnë mendimet e tyre në një klub pub, restorant, apo palestër. Është e mundur për të studiuar këto miliona postime të mediave sociale dhe për të siguruar reagime ndaj kompanisë për atë që njerëzit mendojnë për shërbimet e tyre.

Kush përdor të dhëna të mëdha? Çfarë bëjnë ata me të?

Shumë korporata monolite përdorin të dhëna të mëdha për të rregulluar ofertat dhe çmimet e tyre për të maksimizuar kënaqësinë e klientit.

Pse janë të dhëna të mëdha një marrëveshje e tillë e madhe?

4 gjëra i bëjnë të rëndësishme të dhënat e rëndësishme:

1. Të dhënat janë masive. Ajo nuk do të përshtatet në një hard disk të vetëm , shumë më pak një USB stick . Vëllimi i të dhënave tejkalon atë që mendja njerëzore mund të perceptojë (mendoni për një miliardë miliardë megabyteshe, dhe pastaj shumëfishoni atë me më shumë miliarda).

2. Të dhënat janë të çrregullta dhe të pa strukturuara. 50% deri në 80% të punës së madhe të të dhënave është konvertimi dhe pastrimi i informacionit në mënyrë që të jetë i kërkueshëm dhe i ndryshueshëm. Vetëm disa mijë ekspertë në planetin tonë e dinë plotësisht si ta bëjnë këtë pastrim të të dhënave. Këta ekspertë gjithashtu kanë nevojë për mjete shumë të specializuara, si HPE dhe Hadoop, për të bërë artizanale. Ndoshta në 10 vjet, ekspertë të mëdhenj të të dhënave do të bëhen dhjetëra, por tani për tani janë një specie shumë e rrallë e analistëve dhe puna e tyre është ende shumë e errët dhe e lodhshme.

3. Të dhënat janë bërë një mall ** që mund të shitet dhe të blihet. Ka tregje të të dhënave ku kompanitë dhe individët mund të blejnë terabajt të mediave sociale dhe të dhëna të tjera. Shumica e të dhënave është e bazuar në re, pasi është shumë e madhe për t'u përshtatur në çdo disk të vetëm të vështirë. Blerja e të dhënave zakonisht përfshin një tarifë abonimi ku futeni në një fermë të serverit të cloud.

** Udhëheqësit e mjeteve dhe ideve të mëdha të të dhënave janë Amazon, Google, Facebook dhe Yahoo. Për shkak se këto kompani u shërbejnë kaq miliona njerëzve me shërbimet e tyre në internet, ka kuptim që ata të jenë pika grumbulluese dhe vizionarë pas analizave të mëdha të të dhënave.

4. Mundësitë e të dhënave të mëdha janë të pafundme. Ndoshta mjekët një ditë do të parashikojnë sulme në zemër dhe goditje për individë javë para se të ndodhin. Aeroplani dhe rëniet e automobilave mund të reduktohen nga analizat parashikuese të të dhënave të tyre mekanike dhe të trafikut dhe modeleve të motit. Takimet në internet mund të përmirësohen duke pasur parashikues të mëdhenj të të dhënave për personat që janë personalitete të përputhshme për ju. Muzikantët mund të kuptojnë se çfarë përbërjeje muzikore është më e këndshme ndaj shijet ndryshuese të audiencës së synuar. Nutritionists mund të jetë në gjendje të parashikojnë se cili kombinim i ushqimeve të blerë në dyqan do të përkeqësojnë ose ndihmojnë në kushtet mjekësore të një personi. Sipërfaqja është gërvishtur dhe zbulimet në të dhëna të mëdha ndodhin çdo javë.

Të dhënat e mëdha janë të çrregullta

Monty Rakusen / Getty

Të dhënat e mëdha janë analiza parashikuese: konvertimi i të dhënave masive të pastrukturuara në diçka të kërkueshme dhe të ndryshueshme. Kjo është një hapësirë ​​e çrregullt dhe kaotike që kërkon një lloj të veçantë të dijes dhe durimit.

Merrni, për shembull, shërbimin e dorëzimit UPS monolit. Programuesit në UPS studiojnë të dhëna nga GPS dhe smartfoni i shoferëve të tyre për të analizuar mënyrat më efikase për t'u përshtatur me bllokimet e trafikut. Këto të dhëna GPS dhe të smartphone-it janë gargantua dhe jo automatikisht gati për analiza. Këto të dhëna derdhen nga bazat e të dhënave të GPS dhe hartave të ndryshme, përmes pajisjeve të ndryshme të pajisjeve smartphone. Analistët e UPS kanë kaluar muaj duke i kthyer të gjitha këto të dhëna në një format që mund të kontrollohet lehtë dhe të renditet. Megjithatë, përpjekja ka qenë e vlefshme. Sot, UPS ka ruajtur mbi 8 milionë litra karburant, që kur kanë filluar të përdorin këto analiza të mëdha të të dhënave.

Për shkak se të dhënat e mëdha janë të çrregullta dhe kërkojnë shumë përpjekje për t'u pastruar dhe për t'u përgatitur për përdorim, shkencëtarët e të dhënave janë bërë të njohur si 'mbajtës të të dhënave' për të gjithë punën e lodhshme që ata bëjnë.

Shkenca e të dhënave të mëdha dhe analitiku parashikuese po përmirësohet çdo javë, megjithatë. Prisni të dhëna të mëdha për t'u bërë të arritshme për të gjithë deri në vitin 2025.

A nuk është Big Data një Kërcënim Intrusive ndaj Privatësisë?

Feingersh / Getty

Po, nëse ligjet tona dhe mbrojtjet individuale të privatësisë nuk menaxhohen me kujdes, atëherë të dhënat e mëdha ndërhyjnë në privatësinë personale. Siç duket, Google dhe YouTube dhe Facebook tashmë ndjekin zakonet tuaja të përditshme online . Jeta juaj e smartphone dhe informatikë lë gjurmë dixhitale çdo ditë, dhe kompanitë e sofistikuara po studiojnë ato gjurmë këmbësh.

Ligjet rreth të dhënave të mëdha janë duke u zhvilluar. Privatësia është një gjendje e të qenit që tani duhet të marrësh përgjegjësinë personale, pasi nuk mund ta presësh më si një të drejtë default.

Çfarë mund të bëni për të mbrojtur privatësinë tuaj:

Hapi më i madh i vetëm që mund të merrni është të mbuloni zakonet tuaja të përditshme duke përdorur një lidhje VPN . Një shërbim VPN do të frenojë sinjalin tuaj në mënyrë që identiteti dhe vendndodhja juaj të jenë të paktën të maskuara pjesërisht nga ndjekësit. Kjo nuk do t'ju bëjë 100% anonim, por një VPN do të zvogëlojë ndjeshëm sa bota mund të respektojë zakonet tuaja në internet.

Ku mund të mësoj më shumë për të dhënat e mëdha?

Monty Raskusen / Getty

Të dhënat e mëdha janë një gjë interesante për njerëzit me mendje analitike dhe dashuri për teknologjinë. Nëse je kështu, atëherë patjetër vizitoni këtë faqe të projekteve interesante të të dhënave.