Съдържание:
Определение - Какво означава Job Chaining?
Верижното свързване на работа е термин в MapReduce, който се отнася до стартиране на няколко стъпки в една и съща задача MapReduce. С верижното задание първата задача изпраща изход към една работа, която изпраща изход към следващата задача във веригата и т.н., докато задачата не е завършена. Това е форма на тръбопроводи на MapReduce, за да ги направи по-управляеми.
Техопедия обяснява Job Chaining
Обединяването на заданията в MapReduce се отнася до изпълнение на множество задачи в една единствена задача MapReduce.
Например, веригата за работа може да се състои от:
Карта1> Намаляване1> Карта2> Намаляване2
Предимството на верижната работа е, че елиминира необходимостта от междинни данни между всички стъпки в тръбопровод. В този смисъл свързването на задачи е подобно на пренасочването на вход / изход в черупката на Unix. Изходът от една връзка във веригата тече към входа на следващото задание във веригата. MapReduce позволява на разработчиците да определят зависимостите или кои задания трябва да бъдат завършени, преди да обработи следващите задачи във веригата чрез използване на метода addDependingJob ().
Това улеснява програмиста да напише програма MapReduce, която може да обработва големи количества данни.
