|
|
@@ -0,0 +1,230 @@
|
|
|
+<!DOCTYPE html>
|
|
|
+<html>
|
|
|
+<head>
|
|
|
+ <meta charset="utf-8" />
|
|
|
+ <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
|
|
|
+ <meta name="viewport" content="width=device-width, initial-scale=1.0" />
|
|
|
+ <meta name="description" content="" />
|
|
|
+ <meta name="author" content="Maxim Sokhatsky" />
|
|
|
+ <title>Нова версія KVX</title>
|
|
|
+ <link rel="stylesheet" href="https://forms.n2o.space/priv/static/css/forms.css?v=1" />
|
|
|
+ <link rel="stylesheet" href="https://tonpa.guru/blank.css?v=2" />
|
|
|
+</head>
|
|
|
+<body>
|
|
|
+<nav>
|
|
|
+ <a href='https://n2o.dev'>DEV</a>
|
|
|
+ <a href='https://kvs.n2o.space'>KVS</a>
|
|
|
+ <a href='#' style="background:#ededed;">АНОНС</a>
|
|
|
+
|
|
|
+</nav>
|
|
|
+<main>
|
|
|
+ <section>
|
|
|
+ <h3>Нова версія KVX 6.4</h3>
|
|
|
+ <p>KVX — слой абстракції, який складається з двох частин: базового API та API керування стрімами,
|
|
|
+ тейк, дроп, фолд, катаморфізм, як ви любите. Головний API в модулі kvx,
|
|
|
+ а стрімовий — в kvx_stream. Користуючись нагодою, хочу пропіарити схожі рішення
|
|
|
+ в області зберігання даних на erlang: <a href="https://github.com/fogfish/datum">datum</a> та серія бібліотек
|
|
|
+ від Дмитра Колесникова, <a href="https://github.com/emqx/replayq">replayq</a> від Фенга Лі,
|
|
|
+ а також небагатьох інших, хто намагався абстрактно вирішити проблему.</p>
|
|
|
+
|
|
|
+ <h3>Чому KVX?</h3>
|
|
|
+
|
|
|
+ <p>Призначення KVX:</p>
|
|
|
+ <p>— надання інтерфейсу абстрагування широкого спектра сховищ;<br>
|
|
|
+ — надання зручного Erlang REPL інтерфейсу для роботи з записами (records);<br>
|
|
|
+ — розділення на базовий (get put) інтерфейс, та стрім інтерфейс ітераторів (next prev);<br>
|
|
|
+ — набір драйверів (внутрішня база, зовнішня база і файлова система);<br>
|
|
|
+ — шари даних: файлова система, ланцюжки повідомлень, банківські транзакції, дерева
|
|
|
+ підписів, трейси бізнес-процесів, блокчейни, системи черг,
|
|
|
+ тайм серіес, ось це все.<br>
|
|
|
+ </p>
|
|
|
+ <p>Розпочинаючи з незначної модифікації KVX поміняла назву, тепер це "Абстрактна База Ланцюжків",
|
|
|
+ а не "Абстрактна База Термів", оскільки відділився окремий стрім API.</p>
|
|
|
+
|
|
|
+ <p>— <a href="https://github.com/synrc/kvx">synrc/kvx</a> — 6.4<br></p>
|
|
|
+
|
|
|
+ <p> Розповімо трохи про теоретичні основи KVX. Ця бібліотека дозволяє або повинна
|
|
|
+ дозволяти зберігати та діставати структури будь-якого виду, надаючи семантику управління
|
|
|
+ курсорами next prev, якою володіють дерева. Тому можна сказати, що це інтерфейс
|
|
|
+ оператора до деревоподібних сховищ та сховищ ланцюжків. У своїй основі KVX підтримує три
|
|
|
+ механізми зберігання ланцюжків:</p>
|
|
|
+ <p>1) перший, очевидний — двонаправлені списки, де вказівники next та prev
|
|
|
+ безпосереднім чином присутні в даних. Спосіб підходить
|
|
|
+ навіть для керування деревами;</p>
|
|
|
+ <p>2) другий, очевидний — однонаправлені списки, де наявний тільки вказівник next. Цей спосіб підходить для списків.
|
|
|
+ Багато людей запитують про цей спосіб, але ми його ніколи не використовували,
|
|
|
+ тому немає імплементації;</p>
|
|
|
+ <p>3) третій, неочевидний спосіб — пряме вбудовувавання записів в BTree index,
|
|
|
+ zero-overhead.</p>
|
|
|
+
|
|
|
+ <p>В якомусь сенсі перший та другий способи реалізують певний шар поверх KVX,
|
|
|
+ оскільки kvx_stream працює з будь-якими стораджами поліморфно, а ось kvx_st драйвер
|
|
|
+ стрімів зроблений спеціально для rocksdb.</p>
|
|
|
+
|
|
|
+ <h3>Дерева</h3>
|
|
|
+
|
|
|
+ <p>Двонаправлені списки або дерева, перша модель, яка лягає прямо з С++ класів, при вивченні програмування —
|
|
|
+ це зберігати в базі прямі вказівники, така система зберігання може використовуватися навіть,
|
|
|
+ якщо integer поміняти на pid, тоді можна буде точково відновлювати історію виклику.</p>
|
|
|
+
|
|
|
+ <figure>
|
|
|
+ <code>
|
|
|
+ -record(iter, { id = [] :: [] | integer(),
|
|
|
+ next = [] :: [] | integer(),
|
|
|
+ prev = [] :: [] | integer() } ).
|
|
|
+ </code>
|
|
|
+ </figure>
|
|
|
+
|
|
|
+ <p>Перше поле будь-якої таблиці — це її ім'я, друге — id, третє та
|
|
|
+ четверте — next і prev (сигнатура бінарного розгалуження).
|
|
|
+ Поліморфно за цими зміщеннями ми очікуємо наявність цих полів
|
|
|
+ для лінковки даних в ланцюжки.
|
|
|
+ Базова частина разом називається #iter.</p>
|
|
|
+
|
|
|
+ <h4>kvx_stream — <b>#iter{}</b></h4>
|
|
|
+
|
|
|
+ <p> За поліморфое явне управління application level полями next prev рекорда #iter
|
|
|
+ відповідає модуль kvx_stream. Наприклад, файловая система не надає управління
|
|
|
+ своїми курсорами, тому імплементація fs вимагає наявності полів лінковки.</p>
|
|
|
+
|
|
|
+ <h3>Списки</h3>
|
|
|
+ <p>Однонаправлені списки, чи просто списки, це друга модель. Все таке ж, тільки без повернення назад.
|
|
|
+ Не підтримується пока жодною версією KVX.</p>
|
|
|
+ <figure>
|
|
|
+ <code>
|
|
|
+ -record(ite, { id = [] :: [] | integer(),
|
|
|
+ next = [] :: [] | integer() } ).
|
|
|
+ </code>
|
|
|
+ </figure>
|
|
|
+
|
|
|
+ <h4>kvx_stre — <b>#ite{}</b></h4>
|
|
|
+
|
|
|
+ <p>Цей модуль не реалізовано, і запис не специфікований.</p>
|
|
|
+
|
|
|
+ <h3>Вбудовування в індекс</h3>
|
|
|
+
|
|
|
+ <p>Третя модель представляє собою прямий, більш ефективний спосіб вбудовування простору бізнес-об'єктів
|
|
|
+ в простір ключів розташованої нижче таблиці, і передача управління курсорами BTree таблиці
|
|
|
+ відразу в драйвер, а не в ручний link walking, як це було в riak.
|
|
|
+ Базова частина поліморфних записів складається тільки з імені таблиці
|
|
|
+ та id, і має назву #it. Ця модель використовується в rocksdb бекенді, який з'явився у 6.4.</p>
|
|
|
+
|
|
|
+ <figure>
|
|
|
+ <code>
|
|
|
+ -record(it, { id = [] :: [] | integer() } ).
|
|
|
+ </code>
|
|
|
+ </figure>
|
|
|
+
|
|
|
+ <p>Таким чином, ми можемо емулювати таблиці, в рамках єдиного простору ключів,
|
|
|
+ додаючи їх як префікси до ключа (little endian), який буде автоматично
|
|
|
+ відображатись в головному BTree дереві, також в цьому просторі ви можете
|
|
|
+ зберігати і фіди (стріми), наприклад, топіки: <b>/p2p/maxim/doxtop</b>.
|
|
|
+ Це вимагає спеціальної модифікації kvx_st для работи з записом #it,
|
|
|
+ на відміну від двонаправленого #iter, який працює з драйвером kvx_stream.</p>
|
|
|
+
|
|
|
+ <h4>kvx_st — <b>#it{}</b></h4>
|
|
|
+
|
|
|
+ <p>За керування курсорами по ітератору бази даних відповідає модуль kvx_st.</p>
|
|
|
+
|
|
|
+ <h3>На прикладі</h3>
|
|
|
+
|
|
|
+ <p>Код, який показує головну ідею, на прикладі драйвера rocksdb:</p>
|
|
|
+
|
|
|
+ <figure>
|
|
|
+ <code>
|
|
|
+1> {ok,Ref} = rocksdb:open("hey",[{create_if_missing,true}]).
|
|
|
+2> rocksdb:put(Ref, <<"/users/1">>,<<"maxim">>,[{sync,true}]).
|
|
|
+3> rocksdb:put(Ref, <<"/users/2">>,<<"doxtop">>,[{sync,true}]).
|
|
|
+4> rocksdb:put(Ref, <<"/users/3">>,<<"vlad">>,[{sync,true}]).
|
|
|
+5> rocksdb:put(Ref, <<"/staff/1">>,<<"vlad">>,[{sync,true}]).
|
|
|
+6> rocksdb:put(Ref, <<"/staff/2">>,<<"maxim">>,[{sync,true}]).
|
|
|
+7> rocksdb:put(Ref, <<"/staff/3">>,<<"doxtop">>,[{sync,true}]).
|
|
|
+8> {ok,I} = rocksdb:iterator(Ref,[]).
|
|
|
+9> rocksdb:iterator_move(I,{seek,<<"/staff/">>}).
|
|
|
+10> rocksdb:iterator_move(I,next).
|
|
|
+11> rocksdb:iterator_move(I,next).
|
|
|
+12> rocksdb:iterator_move(I,next).
|
|
|
+13> rocksdb:iterator_move(I,{seek,<<"/users/">>}).
|
|
|
+14> rocksdb:iterator_move(I,next).
|
|
|
+15> rocksdb:iterator_move(I,next).
|
|
|
+16> rocksdb:iterator_move(I,next).
|
|
|
+ </code>
|
|
|
+ </figure>
|
|
|
+
|
|
|
+ <h3>KVX REPL</h3>
|
|
|
+ <p>Тепер, щоб зробити те ж саме на KVX, ви можете зробити просто:</p>
|
|
|
+
|
|
|
+ <figure>
|
|
|
+ <code>
|
|
|
+1> kvx:ver().
|
|
|
+{version,"KVX ROCKSDB"}
|
|
|
+2> rr(kvx).
|
|
|
+[emails,id_seq,it,iter,kvx,reader,schema,table,writer]
|
|
|
+3> kvx:join().
|
|
|
+ok
|
|
|
+4> kvx:put(#emails{id=1,email="maxim"}).
|
|
|
+5> kvx:put(#emails{id=2,email="doxtop"}).
|
|
|
+6> kvx:put(#writer{id=2}).
|
|
|
+7> kvx:put(#writer{id=1}).
|
|
|
+8> kvx:all(writer).
|
|
|
+[#writer{id = 1,count = 0,cache = [],args = [],first = []},
|
|
|
+ #writer{id = 2,count = 0,cache = [],args = [],first = []}]
|
|
|
+9> kvx:all(emails).
|
|
|
+[#emails{id = 1,next = [],prev = [],email = "maxim"},
|
|
|
+ #emails{id = 2,next = [],prev = [],email = "doxtop"}]
|
|
|
+
|
|
|
+10> kvx:add(#writer{id=chain,args=#emails{email="maxim@synrc.com"}}).
|
|
|
+11> kvx:add(#writer{id=chain,args=#emails{email="vlad@synrc.com"}}).
|
|
|
+12> kvx:add(#writer{id=chain,args=#emails{email="doxtop@synrc.com"}}).
|
|
|
+13> kvx:all(chain).
|
|
|
+[#emails{id = 1555244691729330000,next = [],prev = [],
|
|
|
+ email = "maxim@synrc.com"},
|
|
|
+ #emails{id = 1555244699905648000,next = [],prev = [],
|
|
|
+ email = "doxtop@synrc.com"},
|
|
|
+ #emails{id = 1555244696660271000,next = [],prev = [],
|
|
|
+ email = "vlad@synrc.com"}]
|
|
|
+ </code>
|
|
|
+ </figure>
|
|
|
+
|
|
|
+ <p>Єдиний тест на стріми, який проходить:</p>
|
|
|
+
|
|
|
+ <figure>
|
|
|
+ <code>
|
|
|
+> kvx:check().
|
|
|
+ok
|
|
|
+ </code>
|
|
|
+ </figure>
|
|
|
+
|
|
|
+ <h3>Документація</h3>
|
|
|
+
|
|
|
+ <p>Надіюсь зробити цю рубрику в release notes офіційною та регулярною,
|
|
|
+ на жаль, якщо не брать до уваги man сторінки для модулій драйверів,
|
|
|
+ то залишається лише два модулі, для яких потрібна документація — це <a href="https://kvx.n2o.space/man/kvx.htm">kvx</a> та <a href="https://kvx.n2o.space/man/kvx_stream.htm">kvx_stream</a>.
|
|
|
+ Я, звичайно, формально додав сторінки для всіх модулів, і в майбутньому хочеться,
|
|
|
+ щоб штучний інтелект генерував документацію. Також я зрозумів, що
|
|
|
+ ченджлог та реліз замітки у власному блозі є чудовим способом авторського анонсування!
|
|
|
+ Зробив історію таких сторінок в README.md.</p>
|
|
|
+
|
|
|
+ <h3>На закінчення</h3>
|
|
|
+
|
|
|
+ <p>Репозиторій (що депендить <a href="https://gitlab.com/barrel-db/erlang-rocksdb">rocksdb NIF драйвер</a>, який повільно компілюється,
|
|
|
+ від Бенуа Кісенау, <a href="https://github.com/Vonmo/rocker">Rust-версію Rocker</a> від Максима Молчанова вирішив відкласти,
|
|
|
+ надто часто раст оновлюється, неможливо зафрізити)
|
|
|
+ одразу включає файл конфігурації для rocksdb:</p>
|
|
|
+
|
|
|
+ <p>— <a href="https://github.com/voxoz/kv">voxoz/kv</a></p>
|
|
|
+
|
|
|
+ <p>P.S. Вбудовування в BTree можна застосовувати не лише в таких базах, як rocksdb,
|
|
|
+ але й для mnesia, і для будь-яких баз взагалі.</p>
|
|
|
+
|
|
|
+ <p>P.P.S. Також можна використовувати rocksdb у якості драйвера для mnesia (написаний
|
|
|
+ Ульфом Вігером для проекта Аетерніті), або скоріше різновид таблиці rocksdb_copies —
|
|
|
+ <a href="https://github.com/aeternity/mnesia_rocksdb">mnesia_rocksdb</a>.</p>
|
|
|
+
|
|
|
+ </section>
|
|
|
+</main>
|
|
|
+<footer>Namdak Tonpa <span class="heart"> ❤ </span> 2009—2019</footer>
|
|
|
+
|
|
|
+
|
|
|
+</body>
|
|
|
+</html>
|
Namdak Tonpa