Skaitmeninės eros auksas: kas slypi už Big Data sąvokos
Kai pirmą kartą išgirdau terminą „Big Data”, įsivaizdavau milžinišką serverių kambarį, pilną mirksinčių lempučių, kuriame kažkur giliuose algoritmuose slypi mano paskutinio interneto paieškos užklausos pėdsakai. Nors iš dalies tai tiesa, realybė yra kur kas sudėtingesnė ir įdomesnė. Big Data – tai ne tik duomenų kiekis, bet ir visiškai naujas požiūris į informaciją, keičiantis verslo, mokslo ir kasdienio gyvenimo taisykles.
Šiandien kiekvienas mūsų veiksmas internete, kiekvienas pirkinys parduotuvėje su lojalumo kortele, kiekviena kelionė su išmaniuoju telefonu kišenėje palieka skaitmeninį pėdsaką. Šie pėdsakai susilieja į milžinišką duomenų vandenyną, kuriame slypi neįtikėtinos įžvalgos apie žmonių elgesį, tendencijas ir galimybes. Tačiau kaip tame vandenyne nepaskęsti ir ištraukti vertingiausius perlus?
Trys V: kodėl duomenys tapo „didieji”
Big Data apibrėžimas tradiciškai remiasi trimis V: Volume (apimtis), Velocity (greitis) ir Variety (įvairovė). Vėliau pridėti dar du: Veracity (patikimumas) ir Value (vertė).
Apimtis kalba pati už save – kalbame apie petabaitus ir eksabaitus informacijos. Įsivaizduokite, kad vienas petabaitas prilygsta maždaug 20 milijonų kartotekos spintelių, pilnų teksto. „Facebook” kasdien apdoroja daugiau nei 500 terabaitų duomenų. Tai prilygsta maždaug 100 milijonų nuotraukų arba 10 milijardų įrašų.
Greitis reiškia, kad duomenys generuojami ir apdorojami beveik realiu laiku. Pavyzdžiui, modernus automobilis su jutikliais generuoja apie 25 gigabaitus duomenų per valandą. Įsivaizduokite, kad visame pasaulyje tuo pačiu metu važiuoja milijonai tokių automobilių.
Įvairovė nurodo į skirtingus duomenų formatus – nuo struktūruotų (duomenų bazės) iki nestruktūruotų (socialinių tinklų įrašai, vaizdo įrašai). Anksčiau įmonės dirbo tik su aiškiai struktūruotais duomenimis, o dabar tenka analizuoti vartotojų nuotaikas iš tviterio įrašų ar atpažinti objektus nuotraukose.
Patikimumas – iššūkis užtikrinti, kad surinkti duomenys būtų teisingi ir tikslūs. Juk sprendimai, priimti remiantis klaidingais duomenimis, gali atnešti daugiau žalos nei naudos.
Vertė – galutinis tikslas, kodėl apskritai renkame duomenis. Kaip iš šių duomenų išgauti naudingų įžvalgų, kurios padėtų priimti geresnius sprendimus?
Kasdienybė Big Data apsuptyje: kur susiduriame su ja net nežinodami
Nors terminas skamba techniškai, Big Data poveikį jaučiame kasdien:
- Rekomenduojami produktai – kai „Amazon” siūlo knygas, kurios „gali jus sudominti”, tai Big Data darbo rezultatas.
- Navigacija – kai „Google Maps” pasiūlo greičiausią maršrutą, programa analizuoja tūkstančių vairuotojų judėjimo duomenis realiu laiku.
- Sveikatos priežiūra – ligoninės naudoja pacientų duomenis, kad numatytų, kuriems pacientams gresia didžiausia rizika.
- Finansai – bankai analizuoja mokėjimų duomenis, kad aptiktų sukčiavimo atvejus anksčiau, nei jūs patys pastebėsite įtartiną operaciją.
- Pramogos – „Netflix” rekomenduoja filmus pagal žiūrėjimo įpročius, o „Spotify” sukuria asmenines grojaraščių rekomendacijas.
Kartą mano draugas nustebo, kai po kelionės į Italiją jo „Facebook” pradėjo rodyti italų kalbos kursų reklamas. Tai nebuvo atsitiktinumas – algoritmai pastebėjo jo buvimo vietą, galbūt net tai, kad jis ieškojo vertimo programėlių, ir padarė išvadą, kad jis domisi italų kalba.
Technologijos už užkulisių: kaip veikia Big Data mašinerija
Kaip praktiškai veikia ši duomenų analizės magija? Viskas prasideda nuo duomenų rinkimo. Duomenys plaukia iš daugybės šaltinių: socialinių tinklų, jutiklių, transakcijų įrašų, mobiliųjų programėlių. Toliau jie keliauja į saugyklas – modernias duomenų saugyklas, dažnai debesyje.
Tradicinės duomenų bazės nėra pritaikytos tokiems duomenų kiekiams, todėl naudojamos specialios technologijos:
- Hadoop – atvirojo kodo sistema, leidžianti paskirstyti duomenų apdorojimą tarp daugelio kompiuterių.
- Apache Spark – greita duomenų apdorojimo sistema, kuri gali veikti Hadoop aplinkoje.
- NoSQL duomenų bazės – MongoDB, Cassandra ir kitos, sukurtos darbui su nestruktūruotais duomenimis.
- Mašininio mokymosi algoritmai – nuo paprastos regresijos iki sudėtingų neuroninių tinklų, padedančių rasti modelius duomenyse.
Įdomu tai, kad daugelis šių technologijų yra atvirojo kodo, o tai reiškia, kad bet kas gali jas naudoti ir tobulinti. Tai demokratizavo prieigą prie Big Data įrankių – dabar net mažos įmonės gali pasinaudoti jų teikiamais privalumais.
Verslo transformacija: kaip įmonės išnaudoja duomenų galią
Duomenys tapo vertingiausiu įmonių turtu. Štai keletas būdų, kaip verslas išnaudoja Big Data:
Klientų pažinimas. Įmonės renka duomenis apie klientų elgesį, kad geriau suprastų jų poreikius. Pavyzdžiui, prekybos centrai analizuoja, kokius produktus pirkėjai dažniausiai perka kartu, ir atitinkamai išdėsto prekes lentynose.
Produktų tobulinimas. Programinės įrangos kūrėjai renka duomenis apie tai, kaip vartotojai naudoja jų produktus, ir pagal tai tobulina funkcijas. „Tesla” nuolat renka duomenis iš savo automobilių ir naudoja juos autopiloto sistemai tobulinti.
Rizikos valdymas. Draudimo bendrovės analizuoja istorinius duomenis, kad tiksliau įvertintų riziką. Pavyzdžiui, telematikos įrenginiai automobiliuose stebi vairavimo įpročius ir pagal tai nustato draudimo įmokas.
Operacijų optimizavimas. Logistikos įmonės naudoja duomenis, kad optimizuotų pristatymo maršrutus ir sumažintų išlaidas. „UPS” sutaupo milijonus litrų degalų per metus, optimizuodama maršrutus pagal realaus laiko duomenis.
Vienas įspūdingiausių pavyzdžių – kaip „Walmart” naudoja duomenis atsargų valdymui. Analizuodami istorinius pardavimų duomenis, oro prognozes ir net socialinių tinklų aktyvumą, jie gali numatyti, kokių produktų prireiks konkrečiose parduotuvėse prieš artėjančias audras ar šventes.
Iššūkiai ir tamsioji pusė: kodėl Big Data kelia nerimą
Nors Big Data teikia daug galimybių, ji kelia ir rimtų iššūkių:
Privatumas. Kiekvienas mūsų skaitmeninis veiksmas yra stebimas ir analizuojamas. Ar žinote, kad vidutinis vartotojas sutinka su slapukų politika 1600 kartų per metus, dažniausiai jos net neperskaitęs?
Saugumas. Dideli duomenų kiekiai tampa patraukliu taikiniu kibernetiniams nusikaltėliams. 2017 m. „Equifax” duomenų pažeidimas atskleidė 147 milijonų amerikiečių asmeninius duomenis.
Etika. Algoritmai, mokomi iš istorinių duomenų, gali įtvirtinti esamus šališkumus. Pavyzdžiui, darbo paieškos algoritmai gali netyčia diskriminuoti moteris, jei jie mokomi iš duomenų, atspindinčių ankstesnę darbo rinkos nelygybę.
Skaitmeninė atskirtis. Prieiga prie duomenų ir gebėjimas juos analizuoti tampa konkurenciniu pranašumu. Tai gali didinti atotrūkį tarp technologiškai pažangių ir atsiliekančių įmonių ar net valstybių.
Įdomu tai, kad duomenų privatumo problemos skirtingose kultūrose vertinamos nevienodai. Europos Sąjunga įvedė griežtą Bendrąjį duomenų apsaugos reglamentą (GDPR), o Kinijoje valstybė aktyviai naudoja duomenis piliečiams stebėti per socialinio kredito sistemą.
Praktiniai žingsniai: kaip pradėti naudoti Big Data savo veikloje
Jei esate smulkaus ar vidutinio verslo savininkas, Big Data gali atrodyti kaip kažkas, kas prieinama tik technologijų gigantams. Tačiau pradėti galima ir nuo mažų žingsnių:
- Identifikuokite turimus duomenis. Pradėkite nuo to, ką jau turite – klientų sąrašų, pardavimų istorijos, svetainės analitikos.
- Nustatykite aiškius tikslus. Ką norite sužinoti? Galbūt norite geriau suprasti klientų elgesį, optimizuoti inventorių ar pagerinti rinkodaros efektyvumą.
- Išbandykite prieinamus įrankius. „Google Analytics”, „Tableau Public” ar „Microsoft Power BI” yra puikus startas. Šie įrankiai turi nemokamas versijas ir yra gana intuityvūs.
- Investuokite į duomenų raštingumą. Apmokykite save ir darbuotojus suprasti ir interpretuoti duomenis. Internetiniai kursai platformose kaip „Coursera” ar „Udemy” gali būti geras pradžios taškas.
- Pradėkite nuo mažų eksperimentų. Pavyzdžiui, išbandykite A/B testavimą savo el. pašto kampanijoms ar svetainės elementams.
Vienas mano pažįstamas konditerijos savininkas pradėjo rinkti duomenis apie populiariausius gaminius skirtingais metų laikais. Jis pastebėjo, kad prieš lietingas dienas žmonės perka daugiau šokoladinių sausainių. Dabar jis seka oro prognozes ir atitinkamai planuoja gamybą, sumažindamas išlaidas ir padidindamas pardavimus.
Duomenų horizontai: ką atneš rytojus
Žvelgiant į Big Data ateitį, matome keletą ryškių tendencijų, kurios formuos šią sritį:
Dirbtinis intelektas ir Big Data tampa neatsiejami. Mašininio mokymosi algoritmai maitinami didžiuliais duomenų kiekiais tampa vis protingesni ir gali atlikti užduotis, kurios anksčiau buvo laikomos išskirtinai žmogiškos: nuo vaizdų atpažinimo iki natūralios kalbos supratimo.
Edge computing – duomenų apdorojimas arčiau jų šaltinio – tampa vis svarbesnis. Užuot siuntę visus duomenis į nuotolinius serverius, įrenginiai patys atlieka dalį analizės. Tai ypač svarbu IoT (daiktų interneto) įrenginiams, kurie generuoja milžiniškus duomenų srautus.
Duomenų demokratizacija – prieigos prie duomenų analizės įrankių plėtra. Vis daugiau žmonių, neturinčių techninio išsilavinimo, galės naudoti duomenis savo darbe per vartotojui draugiškas sąsajas.
Tačiau kartu su technologinėmis naujovėmis auga ir visuomenės susirūpinimas. Matome stiprėjantį judėjimą už duomenų suverenumą – idėją, kad žmonės turėtų kontroliuoti savo duomenis ir gauti dalį vertės, kurią tie duomenys sukuria.
Duomenų mozaika: žvilgsnis į didesnį paveikslą
Kai pradėjau domėtis Big Data, maniau, kad tai tik techninis reiškinys. Dabar suprantu, kad tai fundamentalus pokytis, keičiantis mūsų santykį su informacija ir sprendimų priėmimu.
Duomenys – tai ne tik skaičiai ir faktai. Tai istorijos apie žmones, jų elgesį, poreikius ir troškimus. Kaip ir bet kuri galinga priemonė, Big Data gali būti naudojama tiek gėriui, tiek blogiui. Ji gali padėti mums efektyviau naudoti išteklius, išgelbėti gyvybes prognozuojant ligas, sukurti personalizuotus mokymosi metodus. Bet ji taip pat gali būti naudojama manipuliacijai, sekimui ir diskriminacijai.
Ateityje svarbiausias iššūkis bus ne technologinis, o etinis ir socialinis – kaip užtikrinti, kad duomenų revoliucija tarnautų žmonėms, o ne atvirkščiai. Galbūt turime pasimokyti iš istorijos – pramonės revoliucija atnešė didžiulę pažangą, bet taip pat ir naujus iššūkius, kuriuos sprendėme kurdami naujas socialines normas ir taisykles.
Taigi, ar esate verslo savininkas, sveikatos priežiūros specialistas, mokytojas ar tiesiog smalsus pilietis, verta suprasti Big Data principus ir galimybes. Nes nepriklausomai nuo to, ar aktyviai dalyvaujate šioje revoliucijoje, ji jau formuoja pasaulį aplink jus – kiekvieną kartą, kai naudojatės išmaniuoju telefonu, perkate internetu ar net tiesiog vaikštote miesto gatvėmis.
Galbūt svarbiausia pamoka yra ta, kad technologija visada buvo ir bus tik įrankis. O kaip mes jį naudosime – tai jau mūsų pasirinkimas ir atsakomybė.