|
|
@@ -1,211 +0,0 @@
|
|
|
-<!DOCTYPE html><html><head><meta charset="utf-8" /><meta http-equiv="Content-Type" content="text/html; charset=utf-8" /><meta name="viewport" content="width=device-width, initial-scale=1.0" /><meta name="description" content="" /><meta name="author" content="Maxim Sokhatsky" /><title>Нова версія KVS</title><link rel="stylesheet" href="https://forms.n2o.space/priv/static/css/forms.css?v=1" /><link rel="stylesheet" href="https://tonpa.guru/blank.css?v=2" /></head><body><nav>
|
|
|
- <a href="https://n2o.dev/ua/">DEV</a>
|
|
|
- <a href="index.html">KVS</a>
|
|
|
- <a href="#" style="background:#ededed;">АНОНС</a>
|
|
|
-
|
|
|
-</nav><main>
|
|
|
- <section>
|
|
|
- <h3>Нова версія KVS 6.4</h3>
|
|
|
- <p>KVS — слой абстракції, який складається з двох частин: базового API та API керування стрімами,
|
|
|
- тейк, дроп, фолд, катаморфізм, як ви любите. Головний API в модулі kvs,
|
|
|
- а стрімовий — в kvs_stream. Користуючись нагодою, хочу пропіарити схожі рішення
|
|
|
- в області зберігання даних на erlang: <a href="https://github.com/fogfish/datum">datum</a> та серія бібліотек
|
|
|
- від Дмитра Колесникова, <a href="https://github.com/emqx/replayq">replayq</a> від Фенга Лі,
|
|
|
- а також небагатьох інших, хто намагався абстрактно вирішити проблему.</p>
|
|
|
-
|
|
|
- <h3>Чому KVS?</h3>
|
|
|
-
|
|
|
- <p>Призначення KVS:</p>
|
|
|
- <p>— надання інтерфейсу абстрагування широкого спектра сховищ;<br />
|
|
|
- — надання зручного Erlang REPL інтерфейсу для роботи з записами (records);<br />
|
|
|
- — розділення на базовий (get put) інтерфейс, та стрім інтерфейс ітераторів (next prev);<br />
|
|
|
- — набір драйверів (внутрішня база, зовнішня база і файлова система);<br />
|
|
|
- — шари даних: файлова система, ланцюжки повідомлень, банківські транзакції, дерева
|
|
|
- підписів, трейси бізнес-процесів, блокчейни, системи черг,
|
|
|
- тайм серіес, ось це все.<br />
|
|
|
- </p>
|
|
|
- <p>Розпочинаючи з незначної модифікації KVS поміняла назву, тепер це "Абстрактна База Ланцюжків",
|
|
|
- а не "Абстрактна База Термів", оскільки відділився окремий стрім API.</p>
|
|
|
-
|
|
|
- <p>— <a href="https://github.com/synrc/kvs">synrc/kvs</a> — 6.4<br /></p>
|
|
|
-
|
|
|
- <p> Розповімо трохи про теоретичні основи KVS. Ця бібліотека дозволяє або повинна
|
|
|
- дозволяти зберігати та діставати структури будь-якого виду, надаючи семантику управління
|
|
|
- курсорами next prev, якою володіють дерева. Тому можна сказати, що це інтерфейс
|
|
|
- оператора до деревоподібних сховищ та сховищ ланцюжків. У своїй основі KVS підтримує три
|
|
|
- механізми зберігання ланцюжків:</p>
|
|
|
- <p>1) перший, очевидний — двонаправлені списки, де вказівники next та prev
|
|
|
- безпосереднім чином присутні в даних. Спосіб підходить
|
|
|
- навіть для керування деревами;</p>
|
|
|
- <p>2) другий, очевидний — однонаправлені списки, де наявний тільки вказівник next. Цей спосіб підходить для списків.
|
|
|
- Багато людей запитують про цей спосіб, але ми його ніколи не використовували,
|
|
|
- тому немає імплементації;</p>
|
|
|
- <p>3) третій, неочевидний спосіб — пряме вбудовувавання записів в BTree index,
|
|
|
- zero-overhead.</p>
|
|
|
-
|
|
|
- <p>В якомусь сенсі перший та другий способи реалізують певний шар поверх KVS,
|
|
|
- оскільки kvs_stream працює з будь-якими стораджами поліморфно, а ось kvs_st драйвер
|
|
|
- стрімів зроблений спеціально для rocksdb.</p>
|
|
|
-
|
|
|
- <h3>Дерева</h3>
|
|
|
-
|
|
|
- <p>Двонаправлені списки або дерева, перша модель, яка лягає прямо з С++ класів, при вивченні програмування —
|
|
|
- це зберігати в базі прямі вказівники, така система зберігання може використовуватися навіть,
|
|
|
- якщо integer поміняти на pid, тоді можна буде точково відновлювати історію виклику.</p>
|
|
|
-
|
|
|
- <figure>
|
|
|
- <code>
|
|
|
- -record(iter, { id = [] :: [] | integer(),
|
|
|
- next = [] :: [] | integer(),
|
|
|
- prev = [] :: [] | integer() } ).
|
|
|
- </code>
|
|
|
- </figure>
|
|
|
-
|
|
|
- <p>Перше поле будь-якої таблиці — це її ім'я, друге — id, третє та
|
|
|
- четверте — next і prev (сигнатура бінарного розгалуження).
|
|
|
- Поліморфно за цими зміщеннями ми очікуємо наявність цих полів
|
|
|
- для лінковки даних в ланцюжки.
|
|
|
- Базова частина разом називається #iter.</p>
|
|
|
-
|
|
|
- <h4>kvs_stream — <b>#iter{}</b></h4>
|
|
|
-
|
|
|
- <p> За поліморфое явне управління application level полями next prev рекорда #iter
|
|
|
- відповідає модуль kvs_stream. Наприклад, файловая система не надає управління
|
|
|
- своїми курсорами, тому імплементація fs вимагає наявності полів лінковки.</p>
|
|
|
-
|
|
|
- <h3>Списки</h3>
|
|
|
- <p>Однонаправлені списки, чи просто списки, це друга модель. Все таке ж, тільки без повернення назад.
|
|
|
- Не підтримується пока жодною версією KVS.</p>
|
|
|
- <figure>
|
|
|
- <code>
|
|
|
- -record(ite, { id = [] :: [] | integer(),
|
|
|
- next = [] :: [] | integer() } ).
|
|
|
- </code>
|
|
|
- </figure>
|
|
|
-
|
|
|
- <h4>kvs_stre — <b>#ite{}</b></h4>
|
|
|
-
|
|
|
- <p>Цей модуль не реалізовано, і запис не специфікований.</p>
|
|
|
-
|
|
|
- <h3>Вбудовування в індекс</h3>
|
|
|
-
|
|
|
- <p>Третя модель представляє собою прямий, більш ефективний спосіб вбудовування простору бізнес-об'єктів
|
|
|
- в простір ключів розташованої нижче таблиці, і передача управління курсорами BTree таблиці
|
|
|
- відразу в драйвер, а не в ручний link walking, як це було в riak.
|
|
|
- Базова частина поліморфних записів складається тільки з імені таблиці
|
|
|
- та id, і має назву #it. Ця модель використовується в rocksdb бекенді, який з'явився у 6.4.</p>
|
|
|
-
|
|
|
- <figure>
|
|
|
- <code>
|
|
|
- -record(it, { id = [] :: [] | integer() } ).
|
|
|
- </code>
|
|
|
- </figure>
|
|
|
-
|
|
|
- <p>Таким чином, ми можемо емулювати таблиці, в рамках єдиного простору ключів,
|
|
|
- додаючи їх як префікси до ключа (little endian), який буде автоматично
|
|
|
- відображатись в головному BTree дереві, також в цьому просторі ви можете
|
|
|
- зберігати і фіди (стріми), наприклад, топіки: <b>/p2p/maxim/doxtop</b>.
|
|
|
- Це вимагає спеціальної модифікації kvs_st для работи з записом #it,
|
|
|
- на відміну від двонаправленого #iter, який працює з драйвером kvs_stream.</p>
|
|
|
-
|
|
|
- <h4>kvs_st — <b>#it{}</b></h4>
|
|
|
-
|
|
|
- <p>За керування курсорами по ітератору бази даних відповідає модуль kvs_st.</p>
|
|
|
-
|
|
|
- <h3>На прикладі</h3>
|
|
|
-
|
|
|
- <p>Код, який показує головну ідею, на прикладі драйвера rocksdb:</p>
|
|
|
-
|
|
|
- <figure>
|
|
|
- <code>
|
|
|
-1> {ok,Ref} = rocksdb:open("hey",[{create_if_missing,true}]).
|
|
|
-2> rocksdb:put(Ref, <<"/users/1">>,<<"maxim">>,[{sync,true}]).
|
|
|
-3> rocksdb:put(Ref, <<"/users/2">>,<<"doxtop">>,[{sync,true}]).
|
|
|
-4> rocksdb:put(Ref, <<"/users/3">>,<<"vlad">>,[{sync,true}]).
|
|
|
-5> rocksdb:put(Ref, <<"/staff/1">>,<<"vlad">>,[{sync,true}]).
|
|
|
-6> rocksdb:put(Ref, <<"/staff/2">>,<<"maxim">>,[{sync,true}]).
|
|
|
-7> rocksdb:put(Ref, <<"/staff/3">>,<<"doxtop">>,[{sync,true}]).
|
|
|
-8> {ok,I} = rocksdb:iterator(Ref,[]).
|
|
|
-9> rocksdb:iterator_move(I,{seek,<<"/staff/">>}).
|
|
|
-10> rocksdb:iterator_move(I,next).
|
|
|
-11> rocksdb:iterator_move(I,next).
|
|
|
-12> rocksdb:iterator_move(I,next).
|
|
|
-13> rocksdb:iterator_move(I,{seek,<<"/users/">>}).
|
|
|
-14> rocksdb:iterator_move(I,next).
|
|
|
-15> rocksdb:iterator_move(I,next).
|
|
|
-16> rocksdb:iterator_move(I,next).
|
|
|
- </code>
|
|
|
- </figure>
|
|
|
-
|
|
|
- <h3>KVS REPL</h3>
|
|
|
- <p>Тепер, щоб зробити те ж саме на KVS, ви можете зробити просто:</p>
|
|
|
-
|
|
|
- <figure>
|
|
|
- <code>
|
|
|
-1> kvs:ver().
|
|
|
-{version,"KVS ROCKSDB"}
|
|
|
-2> rr(kvs).
|
|
|
-[emails,id_seq,it,iter,kvs,reader,schema,table,writer]
|
|
|
-3> kvs:join().
|
|
|
-ok
|
|
|
-4> kvs:put(#emails{id=1,email="maxim"}).
|
|
|
-5> kvs:put(#emails{id=2,email="doxtop"}).
|
|
|
-6> kvs:put(#writer{id=2}).
|
|
|
-7> kvs:put(#writer{id=1}).
|
|
|
-8> kvs:all(writer).
|
|
|
-[#writer{id = 1,count = 0,cache = [],args = [],first = []},
|
|
|
- #writer{id = 2,count = 0,cache = [],args = [],first = []}]
|
|
|
-9> kvs:all(emails).
|
|
|
-[#emails{id = 1,next = [],prev = [],email = "maxim"},
|
|
|
- #emails{id = 2,next = [],prev = [],email = "doxtop"}]
|
|
|
-
|
|
|
-10> kvs:add(#writer{id=chain,args=#emails{email="maxim@synrc.com"}}).
|
|
|
-11> kvs:add(#writer{id=chain,args=#emails{email="vlad@synrc.com"}}).
|
|
|
-12> kvs:add(#writer{id=chain,args=#emails{email="doxtop@synrc.com"}}).
|
|
|
-13> kvs:all(chain).
|
|
|
-[#emails{id = 1555244691729330000,next = [],prev = [],
|
|
|
- email = "maxim@synrc.com"},
|
|
|
- #emails{id = 1555244699905648000,next = [],prev = [],
|
|
|
- email = "doxtop@synrc.com"},
|
|
|
- #emails{id = 1555244696660271000,next = [],prev = [],
|
|
|
- email = "vlad@synrc.com"}]
|
|
|
- </code>
|
|
|
- </figure>
|
|
|
-
|
|
|
- <p>Єдиний тест на стріми, який проходить:</p>
|
|
|
-
|
|
|
- <figure>
|
|
|
- <code>
|
|
|
-> kvs:check().
|
|
|
-ok
|
|
|
- </code>
|
|
|
- </figure>
|
|
|
-
|
|
|
- <h3>Документація</h3>
|
|
|
-
|
|
|
- <p>Надіюсь зробити цю рубрику в release notes офіційною та регулярною,
|
|
|
- на жаль, якщо не брать до уваги man сторінки для модулій драйверів,
|
|
|
- то залишається лише два модулі, для яких потрібна документація — це <a href="https://kvs.n2o.space/man/kvs.htm">kvs</a> та <a href="https://kvs.n2o.space/man/kvs_stream.htm">kvs_stream</a>.
|
|
|
- Я, звичайно, формально додав сторінки для всіх модулів, і в майбутньому хочеться,
|
|
|
- щоб штучний інтелект генерував документацію. Також я зрозумів, що
|
|
|
- ченджлог та реліз замітки у власному блозі є чудовим способом авторського анонсування!
|
|
|
- Зробив історію таких сторінок в README.md.</p>
|
|
|
-
|
|
|
- <h3>На закінчення</h3>
|
|
|
-
|
|
|
- <p>Репозиторій (що депендить <a href="https://gitlab.com/barrel-db/erlang-rocksdb">rocksdb NIF драйвер</a>, який повільно компілюється,
|
|
|
- від Бенуа Кісенау, <a href="https://github.com/Vonmo/rocker">Rust-версію Rocker</a> від Максима Молчанова вирішив відкласти,
|
|
|
- надто часто раст оновлюється, неможливо зафрізити)
|
|
|
- одразу включає файл конфігурації для rocksdb:</p>
|
|
|
-
|
|
|
- <p>— <a href="https://github.com/voxoz/kv">voxoz/kv</a></p>
|
|
|
-
|
|
|
- <p>P.S. Вбудовування в BTree можна застосовувати не лише в таких базах, як rocksdb,
|
|
|
- але й для mnesia, і для будь-яких баз взагалі.</p>
|
|
|
-
|
|
|
- <p>P.P.S. Також можна використовувати rocksdb у якості драйвера для mnesia (написаний
|
|
|
- Ульфом Вігером для проекта Аетерніті), або скоріше різновид таблиці rocksdb_copies —
|
|
|
- <a href="https://github.com/aeternity/mnesia_rocksdb">mnesia_rocksdb</a>.</p>
|
|
|
-
|
|
|
- </section>
|
|
|
-</main><footer>Namdak Tonpa <span class="heart"> ❤ </span> 2009—2019</footer></body></html>
|
Namdak Tonpa