Andmete säilitamine on organisatsiooni teabehalduse oluline osa. Selle eesmärgi täitmiseks kasutatakse andmejärvi ja andmeladusid. Nende peamine erinevus seisneb selles, kuidas andmeid hoitakse.
Andmejärv (ingl Data Lake) on väga suur töötlemata ja struktureerimata andmete kogum, mille otstarve on veel määratlemata. Andmeladu on kindlal eesmärgil loodud struktureeritud, filtreeritud andmete hoidla.
Andmejärv
Data Lake ehk andmejärv toimib kui keskus, mis koondab organisatsiooni erinevatest allikatest kogutud andmed ühte loogilisse platvormi, võimaldades sel moel järjepidevalt hallata suuri andmemahtusid.
Selles võib hoida mis tahes andmeid, alates struktureerimata andmetest, nagu tekstidokumendid või pildid, kuni poolstruktureeritud (nt hierarhiline veebisisu) või rangelt struktureeritud (nt relatsiooniandmebaaside read ja veerud) andmeteni.
Andmejärved sobivad kõige paremini organisatsioonidele, kes peavad esitama palju andmeid nii organisatsiooni siseselt kui väliselt. Selline teabe hoiustamise viis võimaldab:
- vähendada ressursse: traditsioonilised süsteemid püüavad kõike mahutada ühe mudeli järgi, sel moel kulub mittekasutatavate andmete töötlemisele liialt palju aega; andmejärves tekib sellise töötlemise vajadus siis, kui info on kasutuses;
- juurdepääsu andmetele: antakse juurdepääsuõigus andmetele;
- suurendada tõhusust: andmekogumid ei nõua andmete skemaatilist määratlemist, mistõttu on andmete edastus-, projekteerimis- ja planeerimisprotsessid lihtsamad ja kiiremad.
Tehnoloogiad, mida kasutame:
- Microsoft Azure Data Lake Analytics;
- Microsoft Azure Data Lake Storage;
- Red Hat Open Data Hub;
- Apache Hadoop;
- Apache Kafka;
- Apache Spark;
- Apache Superset;
- JupyterHub.
Platvormid, mida kasutame:
- Amazon Cloud;
- Microsoft Azure;
- IBM Cloud.
Andmeladu
Andmelaos salvestatakse paljudest allikatest pärinev info ühtseks kuubiks liitmise teel ning vajadusel teisendatakse ja analüüsitakse erinevates osades.
Näiteks salvestab organisatsioon andmelattu teavet töötajate, nende palkade, loodud toodete, klientide, müükide ja arvete kohta. Kui tekib kulude kärpimise meetme kohaldamise küsimus, läheb vaja kõigi nende andmete analüüsi.
Võimalus teha operatiivseid otsuseid erinevate töödeldavate andmeelementide põhjal on andmelao peamine teenus.
Seega võib andmeladu nimetada analüütiliseks andmehoidlaks, milles struktureeritud andmeid hoitakse mitmemõõtmelistes andmekuubikutes. Andmeladu kogub ja salvestab andmeid ühest või mitmest allikast, et neid saaks äriülevaate saamiseks kiiresti analüüsida. Need määratakse enne analüüsi algust, et see oleks ülikiire.
Tehnoloogiad, mida kasutame:
- Microsoft SQL Server;
- Microsoft SQL Server Analysis Services;
- Microsoft SQL Server Integration Services;
- Microsoft SQL Server Reporting Services;
- Oracle Database;
- Oracle Data Integrator.
