Futriix

Проект Futriix основан на базе проекта KeyDB
Futriix's (команды futriix по большей части совпадают с командами KeyDB)
Изучить полную документацию

Краткая документация проекта Futriix

Содержание

1. О проекте
2. Лицензия
3. Основные термины
4. Подготовка
5. Компиляция
6. Тестирование сборки
7. Пример основных команд
8. Кластер
9. Типовые проблемы
10. Дорожная карта
11. Вклад
12. Контакты

О проекте

Futriix - распределённая СУБД с поддержкой модулей на базе Искусственного Интеллекта (ИИ) и плагинов на языке Golang, является форком KeyDB. Futriix является резидентной субд, т.е. хранящей свои данные в оперативной памяти, с их периодическим сохранением на внутренний носитель: HDD (жёсткий диск) или SSD-накопитель.

Отличия futriix от KeyDB

• Скрипт сборки кластера cluster.sh переписан в виде внешнего модуля на языке Rust
• Полностью удалена поддержка Sentinel
• Добавлены модули поддержки SQL, внешнего запуска команд unix и JSON-модуль
• Реализован интеллектуальный помощник (на базе ИИ), осуществляющий поиск по документации

Лицензия

Проект распространяется под 3-пунктной лицензией BSD. Подробнсти смотрите в файле COPYING.txt.

Основные термины проекта

• База Данных(БД) -массив информация, хранящийся, например, на флешке, в файле, на кластере
• Система Управления Базами Данных(СУБД) - Это программа для внесения изменений в базу данных и поиска по ней
• Резидентная СУБД - субд, хранящая все свои данные в оперативной памяти, с периодическим сохранением на HDD или SSD
• Инстанс - запущенный экземляр базы данных
• Узел (хост,нода) - физический сервер
• Кластер - группа компьютеров, объединённых высокоскоростными каналами связи и представляющая с точки зрения пользователя единый аппаратный ресурс
• Команды, выполняемые с привилегиями суперпользователя (root), отмечены символом приглашения «#»
• Команды, выполняемые с правами обычного пользователя(user), отмечены символом приглашения «$»

Компоненты проекта

• FutBot - интеллектуальный помощник в мессенджере Телеграмм, помогающий осущесвлять быстрый поиск по документации проекта
• Rfut - модуль на языке программирования Rust осуществляющая подготовку и сборку кластера futriix из нескольких инстансов
• futriix-json - модуль обеспечивающий поддержку формата JSON в проекте

Подготовка

Для операционных систем семейства Debian выполните следующие шаги:

• Устанавливаем язык программирования C/C++, соопутствующие утилиты (autoconf и другие)

   # apt update
   # apt upgrade
   # apt install build-essential nasm autotools-dev autoconf libjemalloc-dev tcl tcl-dev uuid-dev libcurl4-openssl-dev cmake git hugepages
  

Для операционных систем семейства Red Hat (Fedora, Aurora) выполните следующие шаги:

• Устанавливаем язык программирования C/C++, соопутствующие утилиты (autoconf и другие)

   # dnf update
   # dnf install -y jemalloc-devel g++ libuuid-devel libatomic openssl-devel curl-devel cmake git hugepages
  

• Устанавливаем язык программирования Golang по инструкции с официального сайта

Для операционной системы Alpine выполните следующие шаги:

• Устанавливаем язык программирования C/C++, соопутствующие утилиты (autoconf и другие)

   # apk update
   # apk add --no-cache coreutils gcc linux-headers make musl-dev util-linux-dev openssl-dev curl-dev g++ bash git perl libunwind-dev
  

• Устанавливаем язык программирования Golang по инструкции с официального сайта

Компиляция

1. Копируем репозиторий

    $ git clone https://source.futriix.ru/gvsafronov/futriix
   

2. Переходим в каталог с исходном кодом src

    $ cd src/
   

3. Компилируем Futriix с помощью утилиты Make

   $ make
   

Warning

Futriix также может быть скомпилирован для следующих операционных систем: Linux, OSX, Open Indiana, FreeBSD, но сборка для этих операционных систем не проводилась!!!

Дополнительные параметры компиляции

Для сборки проекта с поддержкой TLS выпоните команду:

 $ make BUILD_TLS=yes

Для сбоки проекта с поддержкой TLS, в качестве модуля, выполните команду:

 $ make BUILD_TLS=module

Для выполнения данной операции вам необходимо библиотека OpenSSL (например, libssl-dev для Debian/Ubuntu).

(К началу)

Тестирование сборки

После компиляции Futriix, рекомендуем запустить утилиту для проверки корректности сборки:

 $ make test

Tip

Исправление проблем сборки с зависимостями или кэшированными параметрами сборки
Futriix содержит некоторые зависимости, которые хранятся в директории deps. Утилита make автоматически не пересобирает зависимости даже если вносятся каие-либо изменения в код зависимостей.

Когда вы обновляете код проекта командой git pull или когда код внутри дерева зависимостей изменен каким-либо другим способом, обязательно используйте следующее команду для того, чтобы действительно все почистить и пересобрать с нуля:

 $ make distclean

В результате работы команды выше будут очищены: аллокатор памяти jemalloc, язык lua, библиотеку hiredis, библиотеку linenoise а также другие зависимости.

Кроме того, если вы принудительно используете определенные параметры сборки, такие как 32-битная версия для 32-битной системы, оптимизации компилятора C в данном случае не будут выполнены. Оптимизации (для целей отладки) и другие подобные параметры времени сборки, кэшируются на неопределенный срок, пока вы не выполните команду make distclean.

(К началу)

Аллокатор

Выбор аллокатора памяти не по умолчанию при сборке Futriix выполняется путем установки параметра MALLOC переменной окружения. Futriix компилируется и компонуется с libc malloc по умолчанию, за исключением jemalloc, который используется по умолчанию в дистрибутивах Linux. Это значение по умолчанию было выбрано потому, что в jemalloc меньше проблем c фрагментацией, чем libc malloc.

Чтобы принудительно скомпилировать libc malloc, выполните следующую команду:

 $ make MALLOC=libc

Для компиляции аллокатора jemalloc на операционной системе Mac OS X, выполните команду:

 $ make MALLOC=jemalloc

Пример основных команд

В данном разделе приведён пример основных команд субд Futriix

Запускаем клиент Futriix, перейдя в каталог с исходным кодом:

 $ cd src && ./futriix-cli

Проверяем доступность сервера, выполняяя команду ping, если будет получен ответ pong-значит сервер доступен и работает корректно

 127.0.0.1:futriix:~> ping
 PONG

Присваеваем значение переменной foo равное bar, командой ниже:

  127.0.0.1:futriix:~> set foo bar
  OK

Получаем значение переменной foo, командой ниже:

 $ get foo
 "bar"

(К началу)

Кластер

1. Откройте директорию с Futriix:

    $ cd futriix
   

2. Откройте файл конфигурации futriix.conf в любом текстовом редакторе, например nano, как в примере приведённом ниже:

    $ nano futriix/futriix.conf
   

3. Проверьте, установлены ли значения "yes" для параметров "active-replica" и "multi-master" в файле конфигурации futriix.conf После чего добавьте в файл конфигурации ip-адреса, узлов вашего кластера. Если вы всё сделали правильно у вас должны отобразится строки в файле конфигурации futriix.conf как показано ниже:

    port 7000
    cluster-enabled yes
    cluster-config-file nodes.conf
    cluster-node-timeout 5000
    appendonly yes
   
   

4. Сохраните внесённые вами изменения, выйдите из редактора, воспользовавшись командами ниже:

    $ ctrl+O
    $ ctrl+x
   

5. Перейдите в директорию Futriix и запустите скрипт cluster.sh с параметрами pick (скрипт запущенный с данным параметром "соберёт кластер"), и run,(скрипт запущенный с данным параметром "запустит кластер") как указано ниже:

    $ ./cluster pick
    $ ./cluster run
   

6. Для остановки кластера запустите скрипт cluster.sh с параметром stop

    $ ./cluster stop
   

(К началу)

Типовые проблемы

В данном разделе описаны типовые проблемы, возникающие при эксплуатации субд Futrix.

1. Описание проблемы: При запуске инстанса futriix, появляется следующее сообщение:

    Warning: no config file specified, using the default config. In order to specify a config file use ./futriix-server /path/to/futriix.conf
   

Решение:

При запуске инстанса сервера futriix, указать корректный путь до файла конфигурации, командой ниже:

 $ ./futriix-server /path/to/futriix.conf

2. Описание проблемы: При запуске инстанса Futriix, появляется следующее сообщение:

    1:12:S 18 Apr 2025 04:47:25.643 # NOTICE: Detuning locks due to high load per core: 97.49%
    1:12:S 18 Apr 2025 04:47:55.491 # NOTICE: CPU pressure reduced
   

Решение:

Это штатная ситуация, и она не является ошибкой и не вызывает проблем. Суть этого сообщения в том, что futriix пытается корректно обработать ситуацию с превышением нагрузки на ЦП.

Futriix использует спинлоки для быстрой синхронизации. Когда нагрузка на ЦП превышает 100% на ядро, ядро может неосознанно предоставить время ЦП заблокированному потоку, который находится в состоянии ожидания, вместо активного потока. Это приводит к значительно большей задержке.

Когда такая ситуация обнаруживается, Futriix будет крутиться в ожидании меньшего времени, прежде чем приостановить поток. Это приводит к лучшей пропускной способности, когда время ЦП ограничено. Однако «правильным» решением является обеспечение того, чтобы время ЦП не было так ограничено.

(К началу)

Дорожная карта

• Добавить поддержку хранимых процедур
• Добавить поддержку многопоточности
• Изменить приглашение командной строки клиента futriix-cli
• Добавить в скрипт cluster.sh, формирующий кластер Futriix, цветовые текстовые индикаторы состояния процесса с левой стороны
• Добавить поддержку модуля для работы с JSON
• Удалить поддержку Sentinel
• Добавить поддержку хранимых процедур
• Добавить поддержку языка запросов SQL
• Добавить поддержку запуска внешних команд ОС из субд
• Добавить макет интеллектуального помощника FutBot
• Реализовать поддержку алгоритма Raft
• Реализовать поддержку роли Podman для автоматического развёртывания кластера в виртуальной среде
• Реализовать планировщик задач,основанный на вытесняющей многозадачности
• Реализовать поддержку ACID-транзакций
• Реализовать полноценного интеллектуального помощника FutBot, задачами которого будут быстрый поиск ответов на вопросы, возникающие при эксплуатации субд Futrix.

См. Открытые проблемы полный список предлагаемых функций (и известных проблем).

(К началу)

Вклад

Вклады — это то, что делает сообщество открытого исходного кода таким замечательным местом для обучения, вдохновения и творчества. Любой ваш вклад очень ценится.

Если у вас есть предложение, которое могло бы улучшить ситуацию, создайте форк репозитория и создайте запрос на включение. Также можно просто открыть задачу с тегом «улучшение».

1. Форкните проект
2. Создайте свою ветку функций (git checkout -b Feature/AmazingFeature)
3. Зафиксируйте свои изменения (git commit -m 'Add some AmazingFeature'`)
4. Отправьте в ветку (git push main Feature/AmazingFeature)
5. Откройте запрос на включение

Контакты

Григорий Сафронов - E-mail

Ссылка на Интеллектуальный помощник - FutBot

(К началу)