С цялата шумотевица за огромни центрове за данни на НСА, които държат газилиони битове с данни за нашия личен живот, има едно нещо, за което не се говори много, поне в CNN. Той включва инженерни проблеми, които се появиха заедно с облачната технология, големите данни и впечатляващите физически центрове за съхранение на данни, които сега се изграждат по целия свят. И така, какво е това? Е, без значение кой управлява една от информационните системи на мамута, която управлява тези съоръжения, има нужда от софтуерни системи, които помагат на всички тези данни бързо да влязат и да излязат от тръбопровода. Тази нужда представлява един от най-интересните ИТ въпроси или пъзели, пред които са изправени професионалистите днес.
Както много експерти подчертават, днешното изключително търсене на обработка на данни надхвърля традиционните подходи. Казано по-просто, използването на прости структури на база данни и инструменти като интерфейс за SQL заявки няма да осигури достатъчно мощност или функционалност за подобно на собствените системи, разработени през последните няколко години. Архивите на днешните големи технологични компании се нуждаят от изключително мащабируема технология. Те се нуждаят от инструменти за обработка на данни, които могат да въвеждат и извеждат резултати в много по-голям обем от това, което може да улесни един сървър. Те се нуждаят от решения, които могат бързо да се увеличат за растеж, решения, които включват сложни нива на изкуствен интелект, решения, създадени за лесно управление от ИТ отдел.
Въпросът е как компаниите и правителствените агенции завладяват ограниченията на традиционния път за обработка на данни? Тук ще разгледаме една много обещаваща опция: Софтуер, който обработва големи данни и администриране на множество центрове за данни.