«HBase с Java» - Spring на русском

«1. Обзор

В этой статье мы рассмотрим клиентскую библиотеку Java базы данных HBase. HBase — это распределенная база данных, которая использует файловую систему Hadoop для хранения данных.

Мы создадим пример клиента Java и таблицу, в которую добавим несколько простых записей.

2. Структура данных HBase

В HBase данные группируются в семейства столбцов. Все элементы столбцов семейства столбцов имеют одинаковый префикс.

Например, столбцы family1:qualifier1 и family1:qualifier2 являются членами семейства столбцов family1. Все элементы семейства столбцов хранятся вместе в файловой системе.

Внутри семейства столбцов мы можем поместить строку с указанным квалификатором. Мы можем думать о квалификаторе как о имени столбца.

Давайте посмотрим на пример записи из Hbase:

Family1:{  
   'Qualifier1':'row1:cell_data',
   'Qualifier2':'row2:cell_data',
   'Qualifier3':'row3:cell_data'
}
Family2:{  
   'Qualifier1':'row1:cell_data',
   'Qualifier2':'row2:cell_data',
   'Qualifier3':'row3:cell_data'
}

У нас есть два семейства столбцов, каждое из которых имеет три квалификатора с некоторыми данными ячеек. Каждая строка имеет ключ строки — это уникальный идентификатор строки. Мы будем использовать ключ строки для вставки, извлечения и удаления данных.

3. Зависимость HBase Client Maven

Перед подключением к HBase нам нужно добавить зависимости hbase-client и hbase:

<dependency>
    <groupId>org.apache.hbase</groupId>
    <artifactId>hbase-client</artifactId>
    <version>${hbase.version}</version>
</dependency>
<dependency>
     <groupId>org.apache.hbase</groupId>
     <artifactId>hbase</artifactId>
     <version>${hbase.version}</version>
</dependency>

4. Настройка HBase

Нам нужно настроить HBase так, чтобы он к нему можно подключиться из клиентской библиотеки Java. Установка выходит за рамки этой статьи, но вы можете ознакомиться с некоторыми руководствами по установке HBase в Интернете.

Затем нам нужно запустить мастер HBase локально, выполнив:

hbase master start

5. Подключение к HBase из Java

Чтобы программно подключиться из Java к HBase, нам нужно определить файл конфигурации XML. Мы запустили наш экземпляр HBase на локальном хосте, поэтому нам нужно ввести его в файл конфигурации:

<configuration>
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>localhost</value>
    </property>
    <property>
        <name>hbase.zookeeper.property.clientPort</name>
        <value>2181</value>
    </property>
</configuration>

Теперь нам нужно указать клиенту HBase этот файл конфигурации:

Configuration config = HBaseConfiguration.create();

String path = this.getClass()
  .getClassLoader()
  .getResource("hbase-site.xml")
  .getPath();
config.addResource(new Path(path));

Далее мы проверяем, подключение к HBase было успешным — в случае сбоя будет выдано исключение MasterNotRunningException:

HBaseAdmin.checkHBaseAvailable(config);

6. Создание структуры базы данных

Прежде чем мы начнем добавлять данные в HBase, нам нужно создать структура данных для вставки строк. Мы создадим одну таблицу с двумя семействами столбцов:

private TableName table1 = TableName.valueOf("Table1");
private String family1 = "Family1";
private String family2 = "Family2";

Во-первых, нам нужно создать соединение с базой данных и получить объект администратора, который мы будем использовать для управления структурой базы данных:

Connection connection = ConnectionFactory.createConnection(config)
Admin admin = connection.getAdmin();

Затем, мы можем создать таблицу, передав экземпляр класса HTableDescriptor в метод createTable() объекта администратора:

HTableDescriptor desc = new HTableDescriptor(table1);
desc.addFamily(new HColumnDescriptor(family1));
desc.addFamily(new HColumnDescriptor(family2));
admin.createTable(desc);

7. Добавление и извлечение элементов

Создав таблицу, мы можем добавить новые данные в Это можно сделать, создав объект Put и вызвав метод put() для объекта Table:

byte[] row1 = Bytes.toBytes("row1")
Put p = new Put(row1);
p.addImmutable(family1.getBytes(), qualifier1, Bytes.toBytes("cell_data"));
table1.put(p);

Извлечение ранее созданной строки может быть достигнуто с помощью класса Get:

Get g = new Get(row1);
Result r = table1.get(g);
byte[] value = r.getValue(family1.getBytes(), qualifier1);

Строка1 является идентификатором строки â – мы можем использовать его для извлечения определенной строки из базы данных. При вызове:

Bytes.bytesToString(value)

возвращаемый результат будет ранее вставленным cell_data. 8. Сканирование и фильтрация. re done):

Эта операция напечатает все строки внутри квалификатора1 с некоторой дополнительной информацией, такой как отметка времени:

Мы можем получить определенные записи с помощью фильтров.

Scan scan = new Scan();
scan.addColumn(family1.getBytes(), qualifier1);

ResultScanner scanner = table.getScanner(scan);
for (Result result : scanner) {
    System.out.println("Found row: " + result);
}

Во-первых, мы создаем два фильтра. filter1 указывает, что запрос сканирования будет извлекать элементы, которые больше, чем row1, а filter2 указывает, что нас интересуют только строки, квалификатор которых равен qualifier1:

Found row: keyvalues={Row1/Family1:Qualifier1/1488202127489/Put/vlen=9/seqid=0}

Затем мы можем получить набор результатов из запроса сканирования. :

При создании FilterList мы передали Operator.MUST_PASS_ALL — это означает, что все фильтры должны быть удовлетворены. Мы можем выбрать Operation.MUST_PASS_ONE, если нужно удовлетворить только один фильтр. В результирующем наборе у нас будут только строки, соответствующие заданным фильтрам.

Filter filter1 = new PrefixFilter(row1);
Filter filter2 = new QualifierFilter(
  CompareOp.GREATER_OR_EQUAL, 
  new BinaryComparator(qualifier1));
List<Filter> filters = Arrays.asList(filter1, filter2);

9. Удаление строк

Scan scan = new Scan();
scan.setFilter(new FilterList(Operator.MUST_PASS_ALL, filters));

try (ResultScanner scanner = table.getScanner(scan)) {
    for (Result result : scanner) {
        System.out.println("Found row: " + result);
    }
}

Наконец, чтобы удалить строку, мы можем использовать класс Delete:

Мы удаляем строку1, которая находится внутри семейства1.

10. Заключение

Delete delete = new Delete(row1);
delete.addColumn(family1.getBytes(), qualifier1);
table.delete(delete);

«В этом кратком руководстве мы сосредоточились на обмене данными с базой данных HBase. Мы увидели, как подключиться к HBase из клиентской библиотеки Java и как выполнять различные основные операции.

Реализацию всех этих примеров и фрагментов кода можно найти в проекте GitHub; это проект Maven, поэтому его легко импортировать и запускать как есть.

The implementation of all these examples and code snippets can be found in the GitHub project; this is a Maven project, so it should be easy to import and run as it is.

«HBase с Java»