Hva er Big Data?

Hvordan

AvRyan Dube

Sist oppdatert den26. mars 2020

Gjennom årene blir mange buzzwords fasjonable i mange bransjer. Det er få som har blitt så populære, og så lenge, som store data. Men hva er big data, nøyaktig?

Big data refererer til et virtuelt hav av informasjon fra en rekke kilder, analysert og filtrert på en slik måte at det utvikles meningsfulle og handlingsrike resultater.

Prosessen med å konvertere “big data” til meningsfulle resultater kan virke komplisert og vanskelig. Når du først har forstått hva big data er og hvordan det fungerer, virker det ikke så komplisert å forstå hvordan du kan gjøre det meningsfylt.

Hva er Big Data?

Når du hører folk snakke om “big data”, er det vanligvis med mye håndsving og store ord. Men når du koker ned hele hyperbolen, er de faktiske "dataene" mange flere datainngangsstrømmer.

For å forstå dette, kan et eksempel hjelpe. La oss si at du driver et paraplyproduksjonsselskap. Markedsavdelingen din leter etter en måte å bedre forutsi når etterspørselen i markedet er i ferd med å øke.

Før dagene med big data, ville markedsførere studere markedstrender, sende ut kundeundersøkelser og mange andre aktiviteter.

De ville samle alle disse dataene og lagre dem på deres eget selskaps interne databaser. Noen kan til og med ha ansvaret for å oppdatere markedsundersøkelsesdata på årlig eller kvartalsbasis.

Ankomsten av big data utvider imidlertid muligheten til å utføre denne typen forskning. Big data er spesielt effektiv til å identifisere viktige trender eller hendelser i nær sanntid.

Datainnganger for denne typen "big data" -analyse kan inneholde datastrømmer i sanntid ved å skrive kode som kobles til Application Programming Interface (API) av mange forskjellige selskaper som har offentliggjort disse dataene:

• Twitter og Facebook: Identifiser når og hvorfor folk diskuterer å kjøpe paraplyer.
• Vær: Identifisere værforhold eller spådommer som kan bli til høyere paraplysalg.
• Aksjemarked: Sesongmessige endringer i prisen på råvarer for å produsere paraplyer.
• Kundens nettbruk: Bruker informasjon fra datamaskin informasjonskapsler av folk som besøker firmakatalogen for å forstå kjøpsatferd.
• Kundens kjøpshistorikk: Sporing av geografi og årstider for salgstrender fra forhandlere.

For å bruke big data, må dette selskapets markedsføringsteam i noen tilfeller installere nye teknologier.

Big Data og Internett

Dette kan omfatte Internet of Things (IoT) -teknologien hos detaljister som sporer og rapporterer om forbrukeratferd. Eller det kan innebære at en programmerer skriver koden som kreves for å grensesnittet til Twitter API for å filtrere ut tweets som nevner "paraplyer" eller firmanavnet.

Hver av disse teknologiene er nå tilgjengelig takket være internett. Internett gjør det mulig for hvem som helst å benytte seg av datastrømmer fra hele verden.

Slik kan oppsettet i vårt eget eksempel fungere i dette tilfellet.

Dette diagrammet viser hvordan data flyter inn i selskapets "datasjø" fra mange forskjellige kilder. Innkommende data kan være strukturert annerledes, men det viktige er å samle så mye data som mulig fra alle kilder.

Hva er en datasjø?

I motsetning til en database, som inneholder strukturerte data organisert i spesifikke kolonner og rader, er en datasjø et enormt arkiv for mange forskjellige former for data.

Dataene som er lagret kan være strukturert eller ustrukturert. Det betyr at det kan ha strukturerte rader og kolonner, eller det kan ikke være. Dataene kan være strenger som bruker spesifikk formatering for å skille data. Hver datakilde kan sende inn data til en datasjø i hvilken form den vil.

Tenk en datasjø som et massivt bibliotek som inneholder mange former for medier, som bøker, bilder på mikrofiche og video på DVD.

Se for deg digital intelligens og dataanalytiker som beskyttere av biblioteket. Disse lånetakerne kan trekke data digitalt ut av bøker, mikrofiche og DVD-er og finne måter å blande og kombinere disse dataene og lære ting fra hvordan dataene korrelerer.

Av disse læringene kommer faktisk, handlingsfull intelligens. Noen av disse fra eksempelet vårt kan omfatte:

• Skravling på Twitter og Facebook indikerer en nærmer storm i New York City, med tusenvis av kunder som planlegger å kjøpe paraplyer.
• Datakake som kjøper data og utsalgsmaskiner indikerer at kjøpere i California er villige til å betale mer for designer-paraplyer enn folk i Virginia er.
• Et stort stormmønster som nærmer seg indikerer at det meste av østkysten vil være dekket av regnvær i en hel uke.

Alle disse læringene kan få markedsteamet til å investere i mer reklame geografisk der etterspørselen etter paraplysalget er mye sterkere. Produksjonsvirksomhet kan også flytte sin produksjonsinnsats til de områdene i verden nærmere der salget er mer sannsynlig å klatre.

På denne måten, ved bruk av big data, kan ethvert selskap effektivisere markedsføringen og driften.

Hva er Hadoop?

Det neste spørsmålet er, hvordan behandler selskaper så store datamengder og identifiserer trender?

Denne typen dataknusing krever enorme datamaskinressurser. Så mye at selskaper ikke lenger bruker store stordatamaskiner på stedet som de pleide å gjøre. Mange av disse tjenestene er nå kjøpt fra skyen. Cloud data intelligence-tjenester som Apache Hadoop tilbyr mange datanoder i et stort skylettverk. Hver av disse nodene bidrar til prosessorkraften som kreves for å analysere massive datastrømmer fra flere kilder.

Denne typen prosessorkraft er kjernen i maskin eller digital intelligens og dataanalyse. Hadoop er programvarerammen som gjør hele dette nettverket av massivt datakraftarbeid som kreves for ingeniører fra digital etterretning.

Når beregningsmotoren produserer handlingsfull intelligens, blir disse vanligvis levert til selskapet i form av dashbord eller rapporter.

Big Data er ikke bare Buzzwords

Sannheten er at "big data" er mer enn bare bedriftslingo. Mange bedrifter lærer at ved å utnytte data bedre kan de oppnå mange prestasjoner.

• Produsenter kan forbedre kritiske produksjonsmålinger som utbytte, kvalitet og effektivitet.
• Forhandlere kan bedre samordne markedsførings-, annonserings- og forretningsinvesteringer basert på markedssignaler.
• Distributører kan forutsi potensielle problemer i en forsyningskjede for å utvikle beredskapsplaner i forkant.
• Nyhetsorganisasjoner kan raskt identifisere nyhetsverdige hendelser ved å analysere offentlige signaler på internett.
• Cybersecurity-eksperter bruker signaler over internett for å identifisere nettangrep mens de pågår.

Selv om mye av det big data har oppnådd de siste årene, fremdeles er praktisk talt usynlig for publikum, har big data faktisk hatt en betydelig innvirkning på hverdagen for mennesker over hele verden.