Нарушения линейзуемости при миграции между дата-центрами #3

New Issue

gvsafronov · 2026-08-17T21:17:52Z

gvsafronov commented

2026-08-17 21:17:52 +00:00

Проблема

Реализация в crossdc_migrator.go обеспечивает асинхронную миграцию данных между дата-центрами с использованием Change Data Capture (CDC). Однако в процессе миграции может нарушаться линеаризуемость операций. На этапе синхронизации дельт клиенты могут читать разные версии документов из разных дата-центров: источник возвращает новую версию, а целевой дата-центр — старую.
После завершения миграции порядок операций может нарушаться из-за асинхронного применения изменений, что потенциально приводит к сценариям потерянных обновлений. Механизм валидации (validateDocument) проверяет только контрольные суммы, не верифицируя порядок операций или причинно-следственные связи.

Если порядок применения изменений в DC2 нарушен, документ может сначала получить обновление до значения 2, а затем быть перезаписан значением 1. Это нарушает свойство линеаризуемости системы, поскольку чтение после записи всегда должно возвращать значение самой последней записи или более новое значение.

Архитектурная проблема

Как гарантировать линеаризуемость операций в распределённой системе при асинхронной миграции между дата-центрами?

Предлагаемые направления исследований

Векторы версий — реализация векторов версий для каждого документа, отслеживающих причинно-следственные связи операций между дата-центрами.
Консистентность по временной шкале — использование гибридных логических часов (HLC) для обеспечения порядка операций и предотвращения проблем, связанных с рассинхронизацией часов.
Миграция на основе снимков состояния — создание согласованного снимка источника, его миграция и применение только дельта-изменений с сохранением порядка.
Распределённый журнал транзакций — ведение глобального журнала операций с порядковыми номерами, сохраняемыми в процессе миграции.
Внешняя консистентность — синхронизация с реальным временем с использованием TrueTime или аналогичных механизмов для обеспечения упорядочивания по временным меткам.
Верификация на стороне клиента — добавление клиентской проверки, подтверждающей версии документов и причинно-следственные связи.

Соответствующие файлы с исходным кодом

internal/cluster/crossdc_migrator.go
internal/cluster/crossdc_migrator.go (validateDocument, строки 400–450)
internal/cluster/crossdc_migrator.go (applyChange, строки 300–350)

**Проблема** Реализация в crossdc_migrator.go обеспечивает асинхронную миграцию данных между дата-центрами с использованием Change Data Capture (CDC). Однако в процессе миграции может нарушаться линеаризуемость операций. На этапе синхронизации дельт клиенты могут читать разные версии документов из разных дата-центров: источник возвращает новую версию, а целевой дата-центр — старую. После завершения миграции порядок операций может нарушаться из-за асинхронного применения изменений, что потенциально приводит к сценариям потерянных обновлений. Механизм валидации (validateDocument) проверяет только контрольные суммы, не верифицируя порядок операций или причинно-следственные связи. Если порядок применения изменений в DC2 нарушен, документ может сначала получить обновление до значения 2, а затем быть перезаписан значением 1. Это нарушает свойство линеаризуемости системы, поскольку чтение после записи всегда должно возвращать значение самой последней записи или более новое значение. **Архитектурная проблема** Как гарантировать линеаризуемость операций в распределённой системе при асинхронной миграции между дата-центрами? **Предлагаемые направления исследований** 1. **Векторы версий** — реализация векторов версий для каждого документа, отслеживающих причинно-следственные связи операций между дата-центрами. 2. **Консистентность по временной шкале** — использование гибридных логических часов (HLC) для обеспечения порядка операций и предотвращения проблем, связанных с рассинхронизацией часов. 3. **Миграция на основе снимков состояния** — создание согласованного снимка источника, его миграция и применение только дельта-изменений с сохранением порядка. 4. **Распределённый журнал транзакций** — ведение глобального журнала операций с порядковыми номерами, сохраняемыми в процессе миграции. 5. **Внешняя консистентность** — синхронизация с реальным временем с использованием TrueTime или аналогичных механизмов для обеспечения упорядочивания по временным меткам. 6. **Верификация на стороне клиента** — добавление клиентской проверки, подтверждающей версии документов и причинно-следственные связи. **Соответствующие файлы с исходным кодом** - `internal/cluster/crossdc_migrator.go` - `internal/cluster/crossdc_migrator.go` (validateDocument, строки 400–450) - `internal/cluster/crossdc_migrator.go` (applyChange, строки 300–350)

Sign in to join this conversation.

1 Participants

Notifications

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: gvsafronov/futriix#3