Оглавление:
Определение - Что означает цепочка вакансий?
Цепочка заданий - это термин в MapReduce, который обозначает запуск нескольких шагов в одной и той же задаче MapReduce. При связывании заданий первое задание отправляет вывод одному заданию, которое отправляет вывод следующему заданию в цепочке и т. Д., Пока задание не будет завершено. Это форма конвейерной обработки заданий MapReduce, чтобы сделать их более управляемыми.
Techopedia объясняет цепочку работы
Цепочка заданий в MapReduce относится к запуску нескольких задач в одном задании MapReduce.
Например, цепочка работы может состоять из:
Карта1> Уменьшить1> Карта2> Уменьшить2
Преимущество цепочки заданий состоит в том, что она устраняет необходимость в промежуточных данных между всеми шагами в конвейере. В этом смысле цепочка заданий аналогична перенаправлению ввода / вывода в оболочке Unix. Выход из одного звена в цепочке поступает на вход следующего задания в цепочке. MapReduce позволяет разработчикам указывать зависимости, или какие задания должны быть выполнены, прежде чем он обработает следующие задания в цепочке с помощью вызова метода addDependingJob ().
Это облегчает разработчику разработку программы MapReduce, которая может обрабатывать большие объемы данных.
