Какво е точно hadoop? теория на циника

Обикновено е всичко, което изглежда твърде добре, за да е истина. Такъв може да е случаят с Apache Hadoop, проектът с много отворен код с отворен код, за който всички продължават да говорят. И така, какво точно е това нещо? Добър въпрос!

Експертите са съмнителни

Анализаторът Марк Мадсен от Трета природа го закова на стената за малко назад в жалостно парче на InsideAnalysis.com: "Какво е Hadoop. Какво Hadoop не е." Тъй като някой, който знае как да проектира решения в реалния свят, а всъщност да ги внедри, неговите съвети не бива да се игнорират.

Но тук тече по-дълбок ток и е близо времето да разкрием корените на тази завладяваща флора, за да видим дали не можем да добием някаква перспектива за това какво се случва на повече от макро ниво. В края на краищата, продавачите продължават да казват, че е голяма работа и има толкова много участници.

Наемете комитетите! (?)

В момента три компании притежават по-голямата част от зараждащия се пазар на Hadoop: Cloudera, Hortonworks и MapR. На неотдавнашен, доста спорен брифинг чрез Boulder BI Brain Trust (#BBBT), Джим Уокър от Hortonworks направи този любопитен коментар:

"Не можете да продвижите технологията, ако не наемете комисионерите!"

Ела пак?

Това не звучи ли като нещо, което може да каже сенатор Палпатин във филм за Междузвездни войни?

Сенатор Палпатин: "Наемете комисионерите!"

Наблизо Minion: "Но, но, сър! Помислете за децата!"

За хората, които просто се опитват да свършат нещата, комисионерите са хора, които са посветени на конкретен проект с отворен код. Фондация Apache има строги протоколи, чрез които техните проекти се движат напред, което често е добро нещо.

Това каза, че коментарът на Уокър дава основание за проверка. Един заострен въпрос (с риск да се появят дни на детската площадка) би бил: Това обещание или заплаха? Казва ли, че Hortonworks може просто да вземе топката си и да се прибере?

Сътрудничество или конкуренция?

Интересният, ако не парадоксален ъгъл тук е, че според съобщенията, повечето участници в екипа на Hadoop (около 30 или около всички) са от Hortonworks и Cloudera - които са конкуренти. Това е много любопитен случай на конкуренция.

И така, каква е сделката? Ето едно образовано предположение: Hadoop до голяма степен дължи славата си на умел план, създаден от група рисков капиталисти и инженери от Силиконовата долина, които по същество се опитват да хеджират залозите си срещу Oracle.

Общата идея е да се заложи на пазара с основа на код, който може да бъде подобрен и подкрепен от парцал от парчета на разработчици, които в идеалния случай с течение на времето ще създават всякакъв вид инструменти за управление на данни, включително продукти от база данни. ДК могат да инвестират и изплащат пари някой ден. Но в играта има някои сериозни предизвикателства.

Както всички монолитни предприятия, Oracle често се оказва в кръстосването на много по-малки играчи. И кой не би искал само късче от умопомрачителните си приходи? Само през последното тримесечие Oracle резервира $ 9 милиарда. Но предизвикателството на Big Red и побеждаването им са две много различни реалности.

Безплатен уебкаст: Какво е Hadoop и къде отива? Присъединете се към Ерик Кавана, Робин Блур и Техопедия за дискусия за това как Hadoop е значително различен от Linux или SOA и защо бъдещето му остава до голяма степен неписано.

Проблеми с опаковката

Работата на Hadoop сама по себе си е, че това не е пакетирано решение по никакъв начин. По-скоро това е сложна колекция от модули, които позволяват на висококачествените програмисти да използват масивни алгоритми за паралелна обработка, за да правят много специфични неща. Но няма моден потребителски интерфейс и ръководствата са брутални.

Добавете към това предизвикателство това критично препятствие: имате нужда и от бизнесмени, които имат поне общо разбиране за това, което може да направи. Тези хора трябва да могат да измислят идеи как може да се използва, след което да съобщят на разработчиците, които впоследствие трябва да произвеждат, тестват, прилагат и поддържат приложения.

Организацията на този танц е как Cloudera и Hortonworks правят голяма част от парите си. Проблемът е, че повечето от решенията, създадени чрез този метод, са уникални и обикновено се фокусират върху операционни системи, за разлика от аналитичните. Превод? Такива неща всъщност не се поддават на пакетирани софтуерни продукти.

Доходност на опаковката!

Което ни връща към Oracle. Лари Елисън и момчетата правят своето сено, продаващо технология, хардуер, услуги и (чакай го …) пакетиран софтуер. Cloudera очевидно измисли това, оттук и фокусът им върху Impala. Но Hortonworks?

Техният модел изглежда по-точно имитира този на RedHat, хората, които изградиха бизнес за милиарди над операционната система Linux. Nary, основен доставчик в корпоративната софтуерна индустрия, не пише за Linux, ОС, от която IBM оглавява Microsoft при преминаването. Но Hadoop не е Linux, не и от дълъг кадър.

Д-р Джефри Малафски, бивш нанотехнолог на Военноморските сили на САЩ, сега учен с данни от Phasic Systems и PSIKORS Institute, дестилира предложението за стойност Hadoop така:

"Hadoop е чудесен за търсене, много голям анализ на тенденциите за стохастични резултати и вероятно някои много евтини умели паралелни обработки на неща, които бившата ми жена правеше: квантово механично изчисляване на функцията на вълната на твърдо състояние и химически реакции. Тази реална наука разчита на суперкомпютърите и донякъде премина в паралелна обработка, но това е сериозна промяна в подхода на програмиране. Младите, интелигентни и енергични студенти ще бъдат тези, които ще направят това. приложения. "

Ще забележите, че не звучи нищо като съхранение на данни, бизнес разузнаване, интеграция на данни или дори големи данни. Това звучи като суперкомпютри. И поради някаква интересна причина, световете на високоефективните компютри и бизнес разузнаването в действителност никога не са се сблъсквали или сплотявали по някакъв смислен начин.

Дълъг път пред Hortonworks и Cloudera

И ето наистина лошите новини за Hortonworks и вероятно Cloudera. Големите доставчици като IBM и SAP, Oracle и Teradata - меко казано, и да цитират Dire Straits: "Те момчета не са тъпи!" Преди три и повече години всички те разгърнаха сериозни Hadoop стратегии.

Централни за тези планове са видовете неща, които бизнес потребителите очакват: графични потребителски интерфейси, функционалност за плъзгане и пускане, инструменти за моделиране и откриване, работен поток, управление, сигурност; накратко, всички битове и части, които правят корпоративния софтуер използваем. И разбира се, тези големи доставчици имат масивни бази за инсталиране.

За да бъдем сигурни, и Cloudera, и Hortonworks имат добър бизнес, но само малка част от това, което тези основни играчи получават всяка година. Направете математика за това колко претендентите таксуват клиентите си, в сравнение с това, колко е вероятно тяхната режийни разходи и картината не е толкова розова. Разбира се, това е номинално за курса с проблемите на софтуера в ранен етап, но все пак …

Бъдещето на Hadoop?

Така че, може ли да видим класическата вълна от придобивания, каквато сме имали при аутите, когато IBM купи Cognos, Oracle получи Hyperion, а SAP наблъска BusinessObjects? Може би, но новите деца от този блок не притежават Hadoop; те просто го заемат. И колкото и обещаващи да са YARN и Tez, циклите на освобождаване изглежда изостават от това, което произвеждат тежките хетери.

Точно онзи ден инсайдър от индустрията коментира, че политиката в Apache може да бъде сериозно препятствие. Това не е ужасно изненадващо, особено когато вземете предвид долара - има голяма мотивация за иноваторите да го ударят богато. И някой забелязал ли е как изглежда Chrome превъзхожда Firefox по функционалност и оперативност напоследък? Затворен източник, някой?

Едно е сигурно: тази игра ще се играе по някои интересни начини. Да, бозайниците (четете: малки доставчици) често могат да надминат динозаврите; но все още има алигатори и крокодили по целия свят; и ако се натъкнете на един изненадващо, може просто да откриете колко остри могат да бъдат тези зъби. Няколко крокуса заедно можеха дори да свалят слон или двама.