Еволюцията на големите данни

В началото на 2000-те беше ясно, че има огромна нужда от иновации по отношение на данните. Ограниченията за това, което фирмите биха могли да направят с данните си, смутиха ръководителите и значително намаляха ефективността. Много компании съхраняват огромно количество информация, но просто не успяват да я управляват, анализират или манипулират в своя полза. Именно този нарастващ натиск отстъпи мястото на границите на големите данни.

През 2003 г. Google създаде MapReduce, приложение за данни, което позволи на фирмата да обработва и анализира информация за своите заявки за търсене на хиляди сървъри за кратък период от време. Както мащабируема, така и приспособима, програмата позволи на Google да изпълнява хиляди задачи за данни само за минути, което подобри производителността и предефинира възприеманите граници за това какво може да се направи с данните. Почти 10 години по-късно големите данни се превръщат в централен принцип на информационните технологии. Големият обхват и способност коренно промени управлението на данните на работното място. Но какво предизвика тази еволюция и как точно ще се отразят големите данни за бъдещето? Мислехме, че никога няма да питаш. (За някои основни данни за четене на големи данни, вижте големи данни: как се улавя, смазва и използва за вземане на бизнес решения.)

Търсете отговори на въпроси с големи данни

Красотата на MapReduce беше начинът, по който опростяваше много сложни задачи. Комуникацията може да се управлява от машини, да се отстраняват системни повреди и да се организират входни данни автоматично, процес, който може да бъде контролиран от лица, които вече не се нуждаят от високо технически умения. Като направи обработката на данни не само възможна, но и достъпна, Google вдъхнови културни промени в управлението на данните. Не мина много време хиляди големи фирми да използват MapReduce за своите данни.

Но имаше един проблем: MapReduce беше просто модел на програмиране. Въпреки че улесняваше основите на обработката на данни, самият той не беше отговор на съществуващите недостатъци на данните; това беше само много необходима стъпка в правилната посока. Корпорациите все още се нуждаят от система, която би могла да отговори на техните уникални нужди от данни и да надхвърли основните принципи на управление на данните. Накратко, технологията, необходима за развитието.

Влезте в Hadoop

Въведете Hadoop, рамков софтуер с отворен код, създаден от няколко програмисти, включително Doug Cutting. Там, където MapReduce беше основен и широк, Hadoop предостави освежаваща специфика. Компаниите биха могли да проектират свои собствени приложения, които отговарят на нуждите от данни по начин, по който никой друг софтуер не може, и той като цяло е съвместим с други файлови системи. Фирма с талантливи програмисти може да проектира файлова система, която да постига уникални задачи с данни, които досега изглеждаха недостъпни. Вероятно най-добрата част от това е, че разработчиците ще споделят приложения и програми помежду си, които могат да бъдат разяснени и усъвършенствани.

Демократизирайки такъв важен ресурс, Hadoop се превърна в тенденция. В крайна сметка, че много големи корпорации, особено фирмите за търсачки, смятат, че се нуждаят от това от десетилетия! Не след дълго гиганти от търсачки като Yahoo обявиха внедряването на големи Hadoop приложения, генериращи данни, използвани в заявки за уеб търсене. В нещо като вълна няколко известни компании обявиха приемането на тази технология за своите масивни бази данни, включително Facebook, Amazon, Fox, Apple, eBay и FourSquare. Hadoop постави новия стандарт за обработка на данни.

Големи данни, големи проблеми

Въпреки че напредъкът в технологиите за данни е променил начина, по който компаниите обработват данните, много ръководители все още ги намират необорудвани за пълния набор от необходими задачи. През юли 2012 г. Oracle пусна проучване на повече от 300 ръководители на ниво С, което разкри, че докато 36 процента от компаниите разчитат на ИТ, за да управляват и анализират данни, 29 процента от тях смятат, че на техните системи липсват достатъчно способности, за да отговарят на техните компании. нуждае. Вероятно най-поразителната констатация е, че 93 процента от анкетираните смятат, че тяхната фирма губи до 14 процента от приходите си, като не е в състояние да използва събраните данни. Това са приходи, които биха могли да бъдат изразходвани за по-добри продукти и наемане на повече работници. Във време, в което компаниите се надпреварват да печелят, подобряването на данните, така че фирмите да станат по-печеливши, е необходимост. Проучването показва, че въпреки онези, които вярват, че влиянието на големите данни върху търговията вече е отминало, възможностите за растеж и напредък, които притежава, все още не са напълно реализирани.

Какво има бъдещето за големите данни

Добрата новина е, че Hadoop и MapReduce са вдъхновили много други инструменти за управление на данни. Много нови компании създават широки платформи за данни, които работят на Hadoop, но предлагат широк спектър от аналитични функции и по-лесна системна интеграция. Изглежда, че корпорациите са инвестирали много ресурси за справяне с проблемите на данните, а финансовият успех на фирмите за данни е доказателство за това. През 2010 г. фирмите за данни реализираха 3, 2 милиарда долара от продажби на дребно. Много експерти са изчислили, че този брой ще нарасне до огромните 17 милиарда долара само за 2015 г. Това е факт, който не е загубен от някои от най-големите технологични компании. И IBM и Oracle са изразходвали милиарди през последните няколко месеца, за да придобият фирми за данни. Много други фирми ще направят подобни стъпки през следващите години, тъй като продължават да се борят за конкурентен пазарен дял.

Границата на големите данни

Обемът на събраните данни продължава да нараства експоненциално, което притеснява някои, а други вълнува. Предимството е, че хората ще продължат да стават по-продуктивни и адаптивни, докато научаваме нови неща за нашия свят чрез анализа на данните. Недостатъкът е, че има толкова огромно количество данни, че мнозина се страхуват, че ние не сме в състояние да го съхраняваме правилно, още по-малко правилно го управляваме, така че да може да бъде използван от всички, които се нуждаят от него.

Въпреки това, напредъкът в големите данни може да предостави безпрецедентни възможности за решения на неотложни въпроси, свързани с данните. Например експертите предполагат, че ако големите данни се прилагат правилно с акцент върху ефективността и качеството, това би имало потенциал да спести около 300 милиарда долара годишно само за разходи за здравеопазване; търговците на дребно биха могли да подобрят оперативните си маржове, публичният сектор би могъл да предоставя по-добри услуги, а големите предприятия ще спестят милиарди. И така, изглежда, че решаването на проблемите с нашите данни не е необходимо само в заседателните зали на компанията, а навсякъде. Което казва добри неща за бъдещето на големите данни - а може би и нашето.