Перейти до основного вмісту

Стратегії ребалансування в Kafka

Стратегії ребалансування в Kafka

Ребалансування (Rebalancing) — це процес перерозподілу партицій між споживачами (сonsumer) у групі (Consumer Group). Kafka має кілька стратегій ребалансування:

  1. RangeAssignor. Ця стратегія розподіляє партиції на основі діапазонів, які створюються відповідно до сортування топіків і партицій. Наприклад, якщо є два консюмери і 6 партицій (P0–P5), перший консюмер отримає P0–P2, а другий — P3–P5.
    Особливості:
    • Простий алгоритм.
    • Може призводити до нерівномірного розподілу, якщо кількість партицій не ділиться порівну між консюмерами.
  2. RoundRobinAssignor. Ця стратегія рівномірно розподіляє партиції між консюмерами за круговим принципом. Наприклад, якщо є два консюмери і 6 партицій, перший отримає P0, P2, P4, а другий — P1, P3, P5.
    Особливості:
    • Гарантує більш рівномірний розподіл партицій.
    • Використовується в багатотопікових сценаріях.
  3. StickyAssignor. Ця стратегія намагається мінімізувати кількість змін у розподілі партицій між консюмерами при ребалансуванні. Партиції залишаються закріпленими за консюмерами, якщо це можливо.
    Особливості:
    • Мінімізує вплив ребалансування на продуктивність.
    • Використовується в сценаріях, де стабільність розподілу є критично важливою.
  4. Cooperative Sticky Assignor. Поліпшена версія StickyAssignor, виконується поступове (кооперативне) перерозподілення партицій між консюмерами.
    Особливості:
    • Зменшує час простою під час ребалансування.
    • Рекомендується для високонавантажених систем.
Вибір стратегії

Стратегія вибирається за допомогою параметра partition.assignment.strategy у конфігурації споживача.

Значення може бути одним із наведених:

  • org.apache.kafka.clients.consumer.RangeAssignor
  • org.apache.kafka.clients.consumer.RoundRobinAssignor
  • org.apache.kafka.clients.consumer.StickyAssignor
  • org.apache.kafka.clients.consumer.CooperativeStickyAssignor

Sticky Partitioner

Sticky Partitioner в Apache Kafka – це механізм, який забезпечує більш ефективний розподіл повідомлень між партиціями. Sticky Partitioner дозволяє уникнути частої зміни партицій, зменшуючи кількість перенаправлень, що підвищує продуктивність.

Основна ідея Sticky Partitioner

Замість того, щоб визначати партицію для кожного повідомлення окремо (наприклад, на основі ключа), Sticky Partitioner закріплює продюсера за однією партицією на деякий час. Повідомлення записуються в одну партицію, поки не буде досягнуто певного розміру пакета або часу очікування (batch size або linger.ms). Після цього продюсер переходить до іншої партиції.

Алгоритм:

  1. Sticky Partitioner вибирає партицію для першого повідомлення в новому пакеті (batch).
  2. Усі наступні повідомлення надходять до тієї ж партиції, доки не буде заповнено пакет або не спливе час очікування.
  3. Коли пакет відправлено, партиція змінюється, і процес повторюється.
Налаштування Sticky Partitioner:

Sticky Partitioner налаштовується через властивості продюсера, зокрема:

  • batch.size – максимальний розмір пакета (в байтах). За замовчуванням: 16384 (16 KB).
  • linger.ms – максимальний час очікування перед відправкою пакета. За замовчуванням: 0 (відправка негайно).
  • max.request.size – максимальний розмір одного повідомлення чи пакета.

Sticky Partitioner та стратегії ребалансування працюють на різних рівнях Kafka, але вони взаємопов'язані через механізм розподілу навантаження між партиціями та споживачами.

Sticky Partitioner оптимізує роботу продюсера, відправляючи повідомлення батчами в одну партицію.

Стратегії ребалансування оптимізують роботу споживачів, розподіляючи партиції рівномірно.

Labels:

Коментарі

Дописати коментар

Популярні публікації

Колекції в Elixir

Списки Що таке список у Elixir У Elixir список — це впорядкована колекція елементів, реалізована як однозв’язний список . Це означає, що кожен елемент (вузол) зберігає посилання на наступний, але не на попередній. Така структура дозволяє швидко додавати елементи на початок списку, але повільно доступати до довільного елементу. У Java подібну структуру представляє LinkedList — частина Java Collections Framework. Вона реалізована як двозв’язний список, що забезпечує зручне додавання/видалення елементів з початку або кінця списку. Створення списків У Elixir список створюється за допомогою квадратних дужок: list = [1, 2, 3, 4] Додавання елементів У Elixir новий елемент можна додати тільки на початок списку за допомогою оператора | : # Elixir list = [2, 3, 4] new_list = [1 | list] # [1, 2, 3, 4] Доступ до елементів У Elixir немає прямого доступу до елементів за індексом, але це можна зробити через Enum.at : Enum.at([10, 20, 30], 1) # 20 Ітерація по списку У Elixir ...
Дописати коментар
Читати далі »

Інструменти для роботи з Node.js

Що таке npm? npm (Node Package Manager) — це офіційний пакетний менеджер для Node.js . Він дозволяє: Встановлювати сторонні бібліотеки та фреймворки Керувати залежностями проєкту Запускати скрипти (команди) через package.json Приклад ініціалізації проєкту з npm npm init -y Файл package.json (скорочений приклад) { "name": "my-project", "version": "1.0.0", "scripts": { "start": "ts-node src/index.ts", "build": "tsc" }, "dependencies": { "express": "^4.18.0" }, "devDependencies": { "typescript": "^5.0.0", "ts-node": "^10.0.0" } } Що таке tsconfig.json? tsconfig.json — це файл конфігурації для компілятора TypeScript, який визначає, як слід компілювати код. Приклад файлу tsconfig.json { "compilerOptions": { "target": "ES2020...
Дописати коментар
Читати далі »

Атоми в мові програмування Elixir

Атоми в Elixir Атоми є фундаментальною концепцією в Elixir , що відіграє ключову роль у створенні надійних та масштабованих систем. В Elixir це специфічний тип даних, який є константою , незмінною , ідентифікованою за своїм ім'ям . Отже, атом в Elixir — це іменована константа, що представляє себе. Уявіть, що ви даєте унікальне ім'я певній речі, і це ім'я завжди посилається саме на цю річ, і ніколи на щось інше. Наприклад, атом :ok завжди буде означати саме успішне завершення операції, а не якесь інше значення. Технічно, атоми є похідними від чисел . Кожен унікальний атом зберігається у таблиці атомів, і йому присвоюється унікальний цілочисельний ідентифікатор. Це робить їх надзвичайно ефективними для порівняння: замість порівняння рядків (що є повільною операцією), Elixir порівнює цілочисельні ідентифікатори. Переваги та особливості використання атомів Переваги атомів: Ефективність. Завдяки своєму числовому представленню, порівняння атомів є дуже швидким. Це осо...
Дописати коментар
Читати далі »

Встановлення PostgreSQL на Ubuntu-сервер

Встановлення Оновлюємо пакети та встановлюємо PostgreSQL: sudo apt update sudo apt install -y postgresql postgresql-contrib Перевіряємо статус сервісу: sudo systemctl status postgresql Якщо PostgreSQL не запущений, запустимо його: sudo systemctl start postgresql sudo systemctl enable postgresql Налаштування безпеки Зміна пароля: sudo -u postgres psql У консолі PostgreSQL: ALTER USER postgres PASSWORD 'міцний_пароль'; \q \q - вихід з консолі. Список основних команд для роботи з PostgreSQL можна переглянути за посиланням. За замовчуванням PostgreSQL слухає localhost (127.0.0.1). Щоб дозволити доступ із зовнішніх машин, редагуємо конфігурацію: sudo nano /etc/postgresql/17/main/postgresql.conf (замість 17 вкажи версію PostgreSQL, яку встановлено) Шукаємо рядок: #listen_addresses = 'localhost' та замінюємо на listen_addresses = '*' Зберігаємо (Ctrl + X, Y, Enter). Тепер редагуємо pg_hba.conf: sudo nano /etc/postgresql/17/main/pg_hba.conf...
Дописати коментар
Читати далі »

Основи Node.js

Що таке Node.js? Node.js — це середовище виконання JavaScript поза браузером, побудоване на рушії Google V8 . Воно дозволяє запускати JavaScript на сервері, створюючи серверні застосунки з високою продуктивністю. Основні характеристики: Однопотокова модель з неблокуючим I/O Асинхронне виконання за допомогою event loop Висока продуктивність у роботі з мережевими запитами npm — найбільший реєстр пакетів Що таке event loop? Event loop — це механізм в Node.js, який дозволяє неблокуючим асинхронним операціям виконуватись у середовищі з єдиним потоком. Він постійно перевіряє наявність подій у черзі та викликає відповідні колбеки. Як працює однопоточність у Node.js? Node.js використовує один потік (main thread) для обробки JavaScript-коду. Операції, які займають час (мережеві запити, читання з файлової системи), делегуються до системних API або thread pool, і після завершення результат повертається у основний потік через event loop. Приклад: асинхронна о...
Дописати коментар
Читати далі »