futriix-timeseries/README.md

<!-- Improved compatibility of К началу link: See: https://github.com/othneildrew/Best-README-Template/pull/73 -->
<a id="readme-top"></a>
<!--
*** Thanks for checking out the Best-README-Template. If you have a suggestion
*** that would make this better, please fork the repo and create a pull request
*** or simply open an issue with the tag "enhancement".
*** Don't forget to give the project a star!
*** Thanks again! Now go create something AMAZING! :D
-->


<!-- PROJECT LOGO -->
<br />
<div align="center">
<!--  <a href="https://github.com/othneildrew/Best-README-Template"> -->
<img src="Logo-Futriix.png" height=100></img>
  </a>

  <h3 align="center">Futriix</h3>

  <p align="center">
   <b>Проект Futriix это NOSQL субд без блокировок</b> <br>
    <br />
    <br />
  <!--   <a href="">Сообщить об ошибке</a> 
    &middot;
 <!--    <a href="">Предложение новой функциональности</a> -->
  </p>
</div>

  ## Краткая документация проекта Futriix

<!-- TABLE OF CONTENTS -->
<br>
<!-- <details> -->
  <summary><b>Содержание</b></summary></br>
  <ol>
     <li>
      <a href="#о-проекте">О проекте</a>
      <li><a href="#лицензия">Лицензия</a></li>
      <li><a href="#основные-термины">Основные термины</a></li>
      <li><a href="#подготовка">Подготовка</a></li>
      <li><a href="#компиляция">Компиляция</a></li>
      <li><a href="#примеры-основных-команд">Примеры основных команд</a></li>
      <li><a href="#репликация">Репликация</a></li>
      <li><a href="#резервное-копирование">Резервное копирование</a></li>
      <li><a href="#http-api">Http API</a></li>
      <li><a href="#lua-интерпретатор">Lua-интерпретатор</a></li>
      <li><a href="#проблемы">Проблемы</a></li>
      <li><a href="#дорожная-карта">Дорожная карта</a></li>
      <li><a href="#вклад">Вклад</a></li>
      <li><a href="#контакты">Контакты</a></li>
  </ol>
<!-- </details> -->

<!-- ABOUT THE PROJECT -->
## О проекте

Futriix это NOSQL документ-ориентированная субд без блокировок написанная на языке программирования Rust.
Поддерживает следующие модели хранения данных: модель временных рядов (time series), документную, ключ-значение.
Для расщирения базового функционала имеет встроенный lua-интепретатор.
Futriix является резидентной субд, т.е. хранящей свои данные в оперативной памяти, с их периодическим сохранением на внутренний носитель: HDD (жёсткий диск) или SSD-накопитель.


<!-- LICENSE -->
## Лицензия

Проект распространяется под 3-пунктной лицензией BSD. Подробнсти смотрите в файле `LICENSE.txt`.

## Основные термины

* **База Данных(БД)** -массив информация, хранящийся, например, на флешке, в файле, на кластере  
* **Система Управления Базами Данных(СУБД)** - Это программа для внесения изменений в базу данных и поиска по ней
* **Резидентная СУБД** - субд, хранящая все свои данные в оперативной памяти, с периодическим сохранением на HDD или SSD
* **Инстанс** - запущенный экземляр базы данных
* **Узел (хост,нода)** - физический сервер
* **Таппл** - аналог документа в любой документно-ориентированной субд
* **Кластер** - группа компьютеров, объединённых высокоскоростными каналами связи и представляющая с точки зрения пользователя единый аппаратный ресурс
* Команды, выполняемые с привилегиями суперпользователя (root), отмечены символом приглашения **«#»**
* Команды, выполняемые с правами обычного пользователя(user), отмечены символом приглашения **«$»**
* **FutBot** - интеллектуальный помощник в мессенджере Телеграмм, помогающий осущесвлять быстрый поиск по документации проекта


## Подготовка

**Для операционных систем семейства Debian** выполните следующие шаги:
* Устанавливаем язык программирования Rust

  ```sh
   # apt update
   # apt upgrade
   # curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
  ```

**Для операционных систем семейства Red Hat (Fedora, Aurora)** выполните следующие шаги:
* Устанавливаем язык программирования Rust

  ```sh
   # dnf update
   # curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
  ```

**Для операционной системы Alpine** выполните следующие шаги:
* Устанавливаем язык программирования Rust

  ```sh
   # apk update
   # curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
  ```



## Компиляция

1. Копируем репозиторий
   ```sh
    $ git clone https://source.futriix.ru/gvsafronov/futriix
   ```
2. Переходим в каталог с исходном кодом src
   ```sh
    $ cd futriix/
   ```   
3. Компилируем Futriix с помощью пакетного менеджера `Cargo`
   ```sh
   $ cargo build
   ```  
4. Для запуска тестов запускаем команды:
   ```sh
   $ cargo test --test integration  # запуск только интеграционных тестов
   $ cargo test --bench benches    # запуск только бенчмарков
   ```  

> [!WARNING]  
> **Futriix также может быть скомпилирован для следующих операционных систем: `Linux`, `OSX`, `Open Indiana`, `FreeBSD`, но сборка для этих операционных систем не проводилась!!!**

<!-- USAGE EXAMPLES -->
## Примеры основных команд

В данном разделе приведён пример основных команд субд Futriix

Запускаем клиент Futriix, перейдя в каталог с исходным кодом:
   ```sh
    $ cd /target/realease && ./futriix-cli
   ```

Проверяем доступность сервера, выполняяя команду `insert`, если будет получен ответ `successful`-значит вставка данных работает корректно

  ```sh  
futriix:~> insert user1 {"name": "Alice", "age": 25}
Insert successful
 ```  

Считываем значение таппла `user1` командой ниже `get`:
   ```sh
     futriix:~> get user1
{
  "age": 25,
  "name": "Alice"          
}

   ```

Изменим значение переменных `name`, `age`, командой ниже:
   ```sh
futriix:~> update user5 '{"name": "Alice Smith", "age": 26}' 
Update successful

   ```
Удалим весь таппл
   ```sh
   futriix:~> delete user1  
   Delete successful
   ```

   Посмотрим как работают транзакции (создание, откат, коммит)
   ```sh
  futriix:~> begin
  Transaction started

  futriix:~> insert user3 {"name": "Charlie", "age": 40}     
  Insert successful

  futriix:~> rollback
  Transaction aborted

  futriix:~> insert user3 {"name": "Peter", "age": 32} 

  futriix:~> commit
  Transaction committed
   ```
  Создадим индекс для поля `age` в таппле user3, а потом удалим его
  ```sh
  futriix:~> createindex age                        
  Index created on field 'age'

  futriix:~> dropindex age
  Index dropped
  ```

  1. Добавление данных с текущим временем:
  ```sh
  futriix:~> tsinsert temperature '{"value": 23.5, "unit": "C"}'
  [!NOTE] 
  сервер автоматически добавит текущую метку времени
  ```
  ```sh
  2. Добавление данных с явным указанием времени (UNIX timestamp в миллисекундах):

  futriix:~> tsinsert humidity '{"value": 45, "unit": "%"}' 1672531200000
  ```
  3. Запрос данных за указанный временной диапазон:

  ```sh
 futriix:~> tsquery temperature 1672531200000 1672617600000

 Time series data:
  1672531200000: {"value": 23.5, "unit": "C"}
  1672552800000: {"value": 22.1, "unit": "C"}
  1672574400000: {"value": 24.3, "unit": "C"}
  ```

<p align="right">(<a href="#readme-top">К началу</a>)</p>

## Репликация

1. Включите репликацию в конфигурационном файле `futriix.config.toml`, установив enabled = true в секции [replication] в файле конфигурации
    `futriix.config.toml`
   ```sh
    [replication]
    enabled = false     # Включена ли репликация
    peer_nodes = []     # Список узлов для репликации (например ["192.168.1.2:8080"])
    sync_interval = 1000 # Интервал синхронизации в мс  
   ```   
2. Откройте файл конфигурации `futriix.config.toml` в любом текстовом редакторе, например nano, если вы всё сделали правильно, он должен выглядеть так:
   ```sh
    $ nano futriix/futriix.conf.toml
   ``` 
     ```sh
     [server]
     ip = "127.0.0.1"    # IP-адрес сервера (0.0.0.0 для доступа из сети)
     port = 8080         # Порт для TCP-сервера
     log_path = "futriix.log"  # Путь к лог-файлу

     [client]
     ip = "127.0.0.1"    # IP для клиента (обычно localhost)
     port = 8080         # Порт клиента (должен совпадать с серверным)

     [replication]
     enabled = false     # Включена ли репликация
     peer_nodes = []     # Список узлов для репликации (например ["192.168.1.2:8080"])
     sync_interval = 1000 # Интервал синхронизации в мс

     [http_api]
     enabled = true      # Включить HTTP API
     port = 8081         # Порт для HTTP API (обычно на 1 больше основного)

     ```
4. Сохраните внесённые вами изменения, после чего репликация будет доступна в субд, выйдите из редактора, воспользовавшись командами ниже:
   ```sh
    $ ctrl+O
    $ ctrl+x
   ```   
5.  Также для включения репликации вы можете использовать команду в `futriix-cli`:
     ```sh

    futriix:~> replication on
    ```
    Сервер автоматически начнёт синхронизацию с указанными пирами (peer_nodes) с заданным интервалом (sync_interval).

   После включения сервер будет периодически отправлять команды из истории (command_history) на все пиры для поддержания согласованности данных.


   ### Команды для управления репликацией

   В проекте добавлены следующие команды для управления репликацией:
   ```sh
       replication on — включить репликацию
       replication off — выключить репликацию
       replication status — получить статус репликации (включена/выключена, список пиров, время последней синхронизации)
       replication add-peer <addr> — добавить пир для репликации (например, replication add-peer 127.0.0.1:8081)
       replication remove-peer <addr> — удалить пир из списка репликации
   ```


## Резервное копирование

 Для создания и восстановления из бекапа используются команды futload (восстановление из бэкапа) и futunload (создание бэкапа).
 Вот примеры использования команд futload (восстановление из бэкапа) и futunload (создание бэкапа) в Futriix CLI:

futunload - Создание бэкапа

  ```sh

 futunload <путь_к_файлу_бэкапа>
```

Пример 1: Создать бэкап в текущей директории
```sh
futunload ./backups/snapshot_2024.fut

Вывод при успехе:
text

Backup created successfully at ./backups/snapshot_2024.fut
```

Пример 2: Создать бэкап с абсолютным путём

```sh
futunload /var/backups/futriix/db_export.fut
```

2. futload - Восстановление из бэкапа

Формат команды:
bash
```sh
futload <путь_к_файлу_бэкапа>
```

Пример 1: Восстановить из локального файла
bash
```sh
futload ./backups/snapshot_2024.fut

Вывод при успехе:
text

Backup restored successfully from ./backups/snapshot_2024.fut
```

Пример 2: Восстановить из системного пути
```sh
futload /mnt/backups/prod_db.fut
 
 ```

<p align="right">(<a href="#readme-top">К началу</a>)</p>


## Http API

Добавление данных:

  ```sh

curl -X POST http://localhost:8081/api/insert \
  -d '{"user_42": {"name":"John", "age":30}}'
```

Получение данных:

```sh
curl -X GET http://localhost:8081/api/get/user_42

{"name":"John","age":30}
```
```sh
Пакетное обновление:

curl -X POST http://localhost:8081/api/update \
  -d '{"user_42": {"age":31}, "product_5": {"price":99}}'
   
 ```
Пример Python-программы с использованием Http-API:

```sh
import requests
BASE_URL = "http://localhost:8081/api"
def set_value(key, value):
    requests.post(f"{BASE_URL}/insert", json={key: value})
def get_value(key):
    return requests.get(f"{BASE_URL}/get/{key}").json()

```

<p align="right">(<a href="#readme-top">К началу</a>)</p>


## Lua-интерпретатор

1.Выполнение однострочного скрипта

```sh
futriix:~> futexec 'return "Hello, " .. os.date("%Y-%m-%d")'
"Hello, 2023-12-31"
```


2. Интерактивный режим lua-интерпретатора

```sh
futriix:~> futexec
lua> x = 10 + 5
lua> return x * 2
=> 30
lua> exit
```
3. Вызов lua-скрипта из файла
```sh
futriix:~> sysexec analyze_data
```

<p align="right">(<a href="#readme-top">К началу</a>)</p>

## Проблемы

В данном разделе описаны типовые проблемы, возникающие при эксплуатации субд Futrix.

1. **Описание проблемы:** При запуске инстанса futriix, появляется следующее сообщение:
   ```sh
    Warning: no config file specified, using the default config. In order to specify a config file use ./futriix-server /path/to/futriix.conf
   

**Решение:**

При запуске инстанса сервера futriix, указать корректный путь до файла конфигурации, командой ниже:
```sh
 $ ./futriix-server /path/to/futriix.conf
```   

2. **Описание проблемы:** При запуске инстанса Futriix, появляется следующее сообщение:
    ```sh
     1:12:S 18 Apr 2025 04:47:25.643 # NOTICE: Detuning locks due to high load per core: 97.49%
     1:12:S 18 Apr 2025 04:47:55.491 # NOTICE: CPU pressure reduced
    ```

**Решение:**

Это штатная ситуация, и она не является ошибкой и не вызывает проблем. Суть этого сообщения в том, что futriix пытается корректно обработать ситуацию с превышением нагрузки на ЦП. 

Futriix использует спинлоки для быстрой синхронизации. Когда нагрузка на ЦП превышает 100% на ядро, ядро может неосознанно предоставить время ЦП заблокированному потоку, который находится в состоянии ожидания, вместо активного потока. Это приводит к значительно большей задержке.

Когда такая ситуация обнаруживается, Futriix будет крутиться в ожидании меньшего времени, прежде чем приостановить поток. Это приводит к лучшей пропускной способности, когда время ЦП ограничено. Однако «правильным» решением является обеспечение того, чтобы время ЦП не было так ограничено.

<p align="right">(<a href="#readme-top">К началу</a>)</p>

<!-- ROADMAP -->
## Дорожная карта

- [x] Реализовать поддержку хранимых процедур
- [x] Реализовать поддержку многопоточности
- [x] Реализовать неблокирующие чтение/запись
- [x] Реализовать мульти-мастер асинхронную репликацию через файл конфигурации
- [x] Реализовать логирование
- [x] Реализовать команды сервера для управления репликацией
- [x] Реализовать поддержку первичных индексов
- [x] Реализовать поддержку протокола MessagePack
- [x] Реализовать поддержку транзакций
- [x] Добавить механизм сторонних модулей на языке lua, расширяющих базовый функционал сервера
- [x] Добавить макет интеллектуального помощника FutBot
- [x] Реализовать проверку запуска сервера при запуске клиента (если сервер НЕ запущен клиент не запускается)
- [x] Реализовать поддержку HTTP-restfull API
- [ ] Реализовать утилиту тестирования сервера на количество запросов на чтение/запись
- [ ] Реализовать поддержку алгоритма Raft
- [ ] Реализовать поддержку SQL
- [ ] Реализовать поддержку вторичных индексов
- [ ] Реализовать поддержку ACID-транзакций
- [ ] Реализовать полноценного интеллектуального помощника FutBot, задачами которого будут быстрый поиск ответов на вопросы, возникающие при эксплуатации субд Futrix.

См. [Открытые проблемы](https://source.futriix.ru/gvsafronov/futriixw/issues) полный список предлагаемых функций (и известных проблем).

<p align="right">(<a href="#readme-top">К началу</a>)</p>

<!-- CONTRIBUTING -->



<!-- CONTRIBUTING -->
## Вклад

Вклады — это то, что делает сообщество открытого исходного кода таким замечательным местом для обучения, вдохновения и творчества. Любой ваш вклад **очень ценится**.

Если у вас есть предложение, которое могло бы улучшить ситуацию, создайте форк репозитория и создайте запрос на включение. Также можно просто открыть задачу с тегом «улучшение».


1. Форкните проект
2. Создайте свою ветку функций (`git checkout -b Feature/AmazingFeature`)
3. Зафиксируйте свои изменения (git commit -m 'Add some AmazingFeature'`)
4. Отправьте в ветку (`git push main Feature/AmazingFeature`)
5. Откройте запрос на включение

<!-- CONTACT -->
## Контакты

Григорий Сафронов - [E-mail](gvsafronov@yandex.ru) 

Ссылка на Интеллектуальный помощник - [FutBot](https://t.me/Futriix_bot)

<p align="right">(<a href="#readme-top">К началу</a>)</p>