Создание Планировщика импорта данных из Kafka в Vertica

Шаг 0 – экспортируем путь для удобства

export PATH=/opt/vertica/packages/kafka/bin:$PATH

подготовим конфиг-файл вида:
username=(имя бдадмина)
password=(пароль)
dbhost=localhost
dbport=5433
 
Шаг 1 Создаем пул ресурсов (resource pool)
 
Подключаемся в vsql дбадмином и выполняем:
 
CREATE RESOURCE POOL (название пула) PLANNEDCONCURRENCY (Планируемой кол-во потоков-топиков — int) QUEUETIMEOUT 0;
 
Пример: Читать далее

Статьи

VERTICA Data Base. Построение кластера из 3х нод Community версии 9.1 на Centos7.

Итак, Вертика — это реляционная база данных специализирующаяся на анализе огромного потока аналитических данных в real-time режиме.
 
Почему Вертика?
 
Особенностью хранения и обработки информации данной субд является использование столбцов вместо строк, что из-за особенности реализации кластера в данной субд несет линейное увеличение производительности в зависимости от количества и качества серверных мощностей, а также реализует возможность более простого алгоритма поиска по нужным полям. «Столбец – это последовательность значений одного и того же поля, а поскольку в нем могут встречаться повторяющиеся значения (как нулевые, так и, например, относящиеся к одному и тому же времени или одному и тому же имени объекта), то после сортировки сжатие данных оказывается эффективным». Читать далее

Статьи