Q:
Какви обстоятелства доведоха до възхода на екосистемата с големи данни?
A:Има много фактори, които допринесоха за появата на днешната екосистема с големи данни, но има общ консенсус, че големите данни са възникнали поради редица хардуерни и софтуерни дизайни, които просто позволяват съществуването на големи данни.
| Уебинар: Big Iron, Запознайте се с големи данни: Освобождаване на данни от мейнфрейм с Hadoop & Spark Регистрирайте се тук |
Конвенционалната дефиниция на големите данни е следната: Наборите от данни, които са достатъчно големи и сложни, че се противопоставят на лесно итеративно управление или управление на ръка. Големите набори от данни често се определят като набори от данни, които не могат да се поберат в обикновена база данни, тъй като техният анализ изисква твърде много работа от страна на сървърите, обработващи данните.
Имайки това предвид, основна част от създадените големи данни е идеята, която познаваме като Закон на Мур, или удвояването на транзисторите по схема на всеки две години, създавайки все по-малки устройства за хардуер и съхранение на данни (както и по-мощни микропроцесори), Във връзка със закона на Мур и вероятно поради него изчислителната способност на достъпните софтуерни системи продължава да се увеличава, до степен, че дори и персонални компютри да могат да обработват много по-големи количества данни, а бизнес и авангардните системи започнаха да могат да се справят с размерите на данните немислима само няколко години преди това. Личните системи преминаха от килобайти към мегабайти, а след това и към гигабайти, в процес, прозрачен за потребителите. Системите на авангард се движеха от гигабайти към терабайти и петабайти и по реда на величината като зетабайти по начини, които бяха много по-малко прозрачни за обикновения гражданин.
Друго предварително постигане на големи данни бяха промените в начините, по които обработващите обработваха набори от данни. Вместо линейна обработка чрез конвенционален дизайн на релационна база данни, манипулаторите започнаха да използват инструменти като Apache Hadoop и свързани с тях части за хардуерно управление, за да премахнат затрудненията в процесите на данни.
Резултатът е светът с големи данни, в който живеем, където масивните масиви от данни се съхраняват и поддържат в центрове за данни и все по-често се осъществява достъп до широк спектър от технологии за широк спектър от приложения. От търговията до екологията, от общественото планиране до медицината големите данни стават все по-достъпни. Междувременно правителствените агенции и други по-големи организации все още изтласкват границите на големи размери на данни и прилагат още по-модерни решения.
