n4u
/
kvs


			
				
					
						
						
							123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211
							<!DOCTYPE html><html><head><meta charset="utf-8" /><meta http-equiv="Content-Type" content="text/html; charset=utf-8" /><meta name="viewport" content="width=device-width, initial-scale=1.0" /><meta name="description" content="" /><meta name="author" content="Maxim Sokhatsky" /><title>Нова версія KVS</title><link rel="stylesheet" href="https://forms.n2o.space/priv/static/css/forms.css?v=1" /><link rel="stylesheet" href="https://tonpa.guru/blank.css?v=2" /></head><body><nav>
    <a href="https://n2o.dev/ua/">DEV</a>
    <a href="index.html">KVS</a>
    <a href="#" style="background:#ededed;">АНОНС</a>
    
</nav><main>
    <section>
        <h3>Нова версія KVS 6.4</h3>
        <p>KVS — слой абстракції, який складається з двох частин: базового API та API керування стрімами,
           тейк, дроп, фолд, катаморфізм, як ви любите. Головний API в модулі kvs,
           а стрімовий — в kvs_stream. Користуючись нагодою, хочу пропіарити схожі рішення
           в області зберігання даних на erlang: <a href="https://github.com/fogfish/datum">datum</a> та серія бібліотек
           від Дмитра Колесникова, <a href="https://github.com/emqx/replayq">replayq</a> від Фенга Лі,
           а також небагатьох інших, хто намагався абстрактно вирішити проблему.</p>

         <h3>Чому KVS?</h3>

         <p>Призначення KVS:</p>
         <p>— надання інтерфейсу абстрагування широкого спектра сховищ;<br />
            — надання зручного Erlang REPL інтерфейсу для роботи з записами (records);<br />
            — розділення на базовий (get put) інтерфейс, та стрім інтерфейс ітераторів (next prev);<br />
            — набір драйверів (внутрішня база, зовнішня база і файлова система);<br />
            — шари даних: файлова система, ланцюжки повідомлень, банківські транзакції, дерева
              підписів, трейси бізнес-процесів, блокчейни, системи черг,
              тайм серіес, ось це все.<br />
        </p>
         <p>Розпочинаючи з незначної модифікації KVS поміняла назву, тепер це "Абстрактна База Ланцюжків",
            а не "Абстрактна База Термів", оскільки відділився окремий стрім API.</p>

         <p>— <a href="https://github.com/synrc/kvs">synrc/kvs</a> — 6.4<br /></p>

        <p> Розповімо трохи про теоретичні основи KVS. Ця бібліотека дозволяє або повинна
            дозволяти зберігати та діставати структури будь-якого виду, надаючи семантику управління
            курсорами next prev, якою володіють дерева. Тому можна сказати, що це інтерфейс
            оператора до деревоподібних сховищ та сховищ ланцюжків. У своїй основі KVS підтримує три
            механізми зберігання ланцюжків:</p>
         <p>1) перший, очевидний — двонаправлені списки, де вказівники next та prev
               безпосереднім чином присутні в даних. Спосіб підходить
               навіть для керування деревами;</p>
         <p>2) другий, очевидний — однонаправлені списки, де наявний тільки вказівник next. Цей спосіб підходить для списків.
               Багато людей запитують про цей спосіб, але ми його ніколи не використовували,
               тому немає імплементації;</p>
         <p>3) третій, неочевидний спосіб — пряме вбудовувавання записів в BTree index,
               zero-overhead.</p>

         <p>В якомусь сенсі перший та другий способи реалізують певний шар поверх KVS,
            оскільки kvs_stream працює з будь-якими стораджами поліморфно, а ось kvs_st драйвер
            стрімів зроблений спеціально для rocksdb.</p>

        <h3>Дерева</h3>

        <p>Двонаправлені списки або дерева, перша модель, яка лягає прямо з С++ класів, при вивченні програмування —
           це зберігати в базі прямі вказівники, така система зберігання може використовуватися навіть,
           якщо integer поміняти на pid, тоді можна буде точково відновлювати історію виклику.</p>

        <figure>
        <code>
  -record(iter, { id    = [] :: [] | integer(),
                  next  = [] :: [] | integer(),
                  prev  = [] :: [] | integer() } ).
        </code>
        </figure>

        <p>Перше поле будь-якої таблиці — це її ім'я, друге — id, третє та
            четверте — next і prev (сигнатура бінарного розгалуження).
           Поліморфно за цими зміщеннями ми очікуємо наявність цих полів
           для лінковки даних в ланцюжки.
           Базова частина разом називається #iter.</p>

        <h4>kvs_stream — <b>#iter{}</b></h4>

        <p> За поліморфое явне управління application level полями next prev рекорда #iter
            відповідає модуль kvs_stream. Наприклад, файловая система не надає управління
            своїми курсорами, тому імплементація fs вимагає наявності полів лінковки.</p>

        <h3>Списки</h3>
        <p>Однонаправлені списки, чи просто списки, це друга модель. Все таке ж, тільки без повернення назад.
           Не підтримується пока жодною версією KVS.</p>
        <figure>
        <code>
  -record(ite, { id    = [] :: [] | integer(),
                 next  = [] :: [] | integer() } ).
        </code>
        </figure>

        <h4>kvs_stre — <b>#ite{}</b></h4>

        <p>Цей модуль не реалізовано, і запис не специфікований.</p>

        <h3>Вбудовування в індекс</h3>

        <p>Третя модель представляє собою прямий, більш ефективний спосіб вбудовування простору бізнес-об'єктів
           в простір ключів розташованої нижче таблиці, і передача управління курсорами BTree таблиці
           відразу в драйвер, а не в ручний link walking, як це було в riak.
           Базова частина поліморфних записів складається тільки з імені таблиці
           та id, і має назву #it. Ця модель використовується в rocksdb бекенді, який з'явився у 6.4.</p>

        <figure>
        <code>
  -record(it, { id = [] :: [] | integer() } ).
        </code>
        </figure>

        <p>Таким чином, ми можемо емулювати таблиці, в рамках єдиного простору ключів,
           додаючи їх як префікси до ключа (little endian), який буде автоматично
           відображатись в головному BTree дереві, також в цьому просторі ви можете
           зберігати і фіди (стріми), наприклад, топіки: <b>/p2p/maxim/doxtop</b>.
           Це вимагає спеціальної модифікації kvs_st для работи з записом #it,
           на відміну від двонаправленого #iter, який працює з драйвером kvs_stream.</p>

        <h4>kvs_st — <b>#it{}</b></h4>

        <p>За керування курсорами по ітератору бази даних відповідає модуль kvs_st.</p>

        <h3>На прикладі</h3>

        <p>Код, який показує головну ідею, на прикладі драйвера rocksdb:</p>

        <figure>
        <code>
1> {ok,Ref} = rocksdb:open("hey",[{create_if_missing,true}]).
2> rocksdb:put(Ref, &lt;&lt;"/users/1">>,&lt;&lt;"maxim">>,[{sync,true}]).
3> rocksdb:put(Ref, &lt;&lt;"/users/2">>,&lt;&lt;"doxtop">>,[{sync,true}]).
4> rocksdb:put(Ref, &lt;&lt;"/users/3">>,&lt;&lt;"vlad">>,[{sync,true}]).
5> rocksdb:put(Ref, &lt;&lt;"/staff/1">>,&lt;&lt;"vlad">>,[{sync,true}]).
6> rocksdb:put(Ref, &lt;&lt;"/staff/2">>,&lt;&lt;"maxim">>,[{sync,true}]).
7> rocksdb:put(Ref, &lt;&lt;"/staff/3">>,&lt;&lt;"doxtop">>,[{sync,true}]).
8> {ok,I} = rocksdb:iterator(Ref,[]).
9> rocksdb:iterator_move(I,{seek,&lt;&lt;"/staff/">>}).
10> rocksdb:iterator_move(I,next).
11> rocksdb:iterator_move(I,next).
12> rocksdb:iterator_move(I,next).
13> rocksdb:iterator_move(I,{seek,&lt;&lt;"/users/">>}).
14> rocksdb:iterator_move(I,next).
15> rocksdb:iterator_move(I,next).
16> rocksdb:iterator_move(I,next).
        </code>
        </figure>

      <h3>KVS REPL</h3>
        <p>Тепер, щоб зробити те ж саме на KVS, ви можете зробити просто:</p>

        <figure>
        <code>
1> kvs:ver().
{version,"KVS ROCKSDB"}
2> rr(kvs).
[emails,id_seq,it,iter,kvs,reader,schema,table,writer]
3> kvs:join().
ok
4> kvs:put(#emails{id=1,email="maxim"}).
5> kvs:put(#emails{id=2,email="doxtop"}).
6> kvs:put(#writer{id=2}).
7> kvs:put(#writer{id=1}).
8> kvs:all(writer).
[#writer{id = 1,count = 0,cache = [],args = [],first = []},
 #writer{id = 2,count = 0,cache = [],args = [],first = []}]
9> kvs:all(emails).
[#emails{id = 1,next = [],prev = [],email = "maxim"},
 #emails{id = 2,next = [],prev = [],email = "doxtop"}]

10> kvs:add(#writer{id=chain,args=#emails{email="maxim@synrc.com"}}).
11> kvs:add(#writer{id=chain,args=#emails{email="vlad@synrc.com"}}).
12> kvs:add(#writer{id=chain,args=#emails{email="doxtop@synrc.com"}}).
13> kvs:all(chain).
[#emails{id = 1555244691729330000,next = [],prev = [],
         email = "maxim@synrc.com"},
 #emails{id = 1555244699905648000,next = [],prev = [],
         email = "doxtop@synrc.com"},
 #emails{id = 1555244696660271000,next = [],prev = [],
         email = "vlad@synrc.com"}]
        </code>
        </figure>

        <p>Єдиний тест на стріми, який проходить:</p>

        <figure>
        <code>
> kvs:check().
ok
        </code>
        </figure>

      <h3>Документація</h3>

       <p>Надіюсь зробити цю рубрику в release notes офіційною та регулярною,
          на жаль, якщо не брать до уваги man сторінки для модулій драйверів,
          то залишається лише два модулі, для яких потрібна документація — це <a href="https://kvs.n2o.space/man/kvs.htm">kvs</a> та <a href="https://kvs.n2o.space/man/kvs_stream.htm">kvs_stream</a>.
          Я, звичайно, формально додав сторінки для всіх модулів, і в майбутньому хочеться,
          щоб штучний інтелект генерував документацію. Також я зрозумів, що
          ченджлог та реліз замітки у власному блозі є чудовим способом авторського анонсування!
          Зробив історію таких сторінок в README.md.</p>

      <h3>На закінчення</h3>

      <p>Репозиторій (що депендить <a href="https://gitlab.com/barrel-db/erlang-rocksdb">rocksdb NIF драйвер</a>, який повільно компілюється,
         від Бенуа Кісенау, <a href="https://github.com/Vonmo/rocker">Rust-версію Rocker</a> від Максима Молчанова вирішив відкласти,
         надто часто раст оновлюється, неможливо зафрізити)
         одразу включає файл конфігурації для rocksdb:</p>

         <p>— <a href="https://github.com/voxoz/kv">voxoz/kv</a></p>

      <p>P.S. Вбудовування в BTree можна застосовувати не лише в таких базах, як rocksdb,
         але й для mnesia, і для будь-яких баз взагалі.</p>

      <p>P.P.S. Також можна використовувати rocksdb у якості драйвера для mnesia (написаний
         Ульфом Вігером для проекта Аетерніті), або скоріше різновид таблиці rocksdb_copies —
         <a href="https://github.com/aeternity/mnesia_rocksdb">mnesia_rocksdb</a>.</p>

    </section>
</main><footer>Namdak Tonpa <span class="heart">&#160;❤&#160;</span> 2009—2019</footer></body></html>