Оглавление:
Определение - Что означает JobTracker?
JobTracker - это демон, который работает на движке Apache Hadoop MapReduce. JobTracker - это важный сервис, который направляет все задачи MapReduce различным узлам кластера, в идеале тем, которые уже содержат данные или, по крайней мере, расположены в той же стойке, что и узлы, содержащие данные.
Техопедия объясняет JobTracker
JobTracker - это сервис в Hadoop, который отвечает за прием клиентских запросов. Он назначает их TaskTrackers на узлах данных, где требуемые данные присутствуют локально. Если это невозможно, JobTracker пытается назначить задачи TaskTrackers в той же стойке, где данные присутствуют локально. Если по какой-либо причине это также не удается, JobTracker назначает задачу TaskTracker, где существует копия данных. В Hadoop блоки данных реплицируются по узлам данных для обеспечения избыточности, поэтому при сбое одного узла в кластере задание также не завершается.
Процесс JobTracker:
- Запросы на работу из клиентских приложений принимаются JobTracker,
- JobTracker консультируется с NameNode, чтобы определить местоположение необходимых данных.
- JobTracker находит узлы TaskTracker, которые содержат данные или, по крайней мере, находятся рядом с данными.
- Задание отправляется на выбранный TaskTracker.
- TaskTracker выполняет свои задачи, находясь под пристальным наблюдением JobTracker. Если задание не выполняется, JobTracker просто повторно отправляет задание другому TaskTracker. Тем не менее, сам JobTracker является единственной точкой отказа, а это означает, что в случае сбоя вся система выходит из строя.
- JobTracker обновляет свой статус, когда работа завершается.
- Запрашивающий клиент теперь может запрашивать информацию из JobTracker.
