Оглавление:
- Определение - Что означает файловая система Google (GFS)?
- Techopedia объясняет файловую систему Google (GFS)
Определение - Что означает файловая система Google (GFS)?
Google File System (GFS) - это масштабируемая распределенная файловая система (DFS), созданная компанией Google Inc. и разработанная для удовлетворения растущих требований Google к обработке данных. GFS обеспечивает отказоустойчивость, надежность, масштабируемость, доступность и производительность для больших сетей и подключенных узлов. GFS состоит из нескольких систем хранения, построенных из недорогих аппаратных компонентов. Он оптимизирован для удовлетворения различных потребностей Google в использовании и хранении данных, таких как поисковая система, которая генерирует огромные объемы данных, которые необходимо хранить.
Файловая система Google использует преимущества готовых серверов, сводя к минимуму аппаратные недостатки.
GFS также известен как GoogleFS.
Techopedia объясняет файловую систему Google (GFS)
Кластер узлов GFS - это один мастер с несколькими серверами чанков, к которым постоянно обращаются различные клиентские системы. Серверы чанков хранят данные в виде файлов Linux на локальных дисках. Сохраненные данные делятся на большие порции (64 МБ), которые реплицируются в сети минимум три раза. Большой размер чанка уменьшает нагрузку на сеть.
GFS предназначена для удовлетворения больших требований кластеров Google, не обременяя приложения. Файлы хранятся в иерархических каталогах, обозначенных путями. Метаданные, такие как пространство имен, данные контроля доступа и информация о сопоставлении, контролируются ведущим устройством, которое взаимодействует с обновлениями состояния каждого сервера чанков и отслеживает их с помощью синхронизированных сообщений пульса.
Особенности GFS включают в себя:
- Отказоустойчивость
- Критическая репликация данных
- Автоматическое и эффективное восстановление данных
- Высокая совокупная пропускная способность
- Уменьшено взаимодействие клиента и мастера из-за большого размера чанк-сервера
- Управление пространством имен и блокировка
- Высокая доступность
Самые большие кластеры GFS имеют более 1000 узлов с объемом дискового хранилища 300 ТБ. Это может быть доступно сотням клиентов на постоянной основе.
