Apache Atlas Hook for Apache Kafka

1. Kafka 模型

Kafka模型包含以下类型(type):

  • Entity types:
    • kafka_topic
      • super-types: DataSet
      • attributes: qualifiedName, name, description, owner, topic, uri, partitionCount

使用唯一属性qualifiedName在Atlas中创建和删除Kafka实体,其值应格式化如下。请注意,qualifiedName将以小写字母显示主题名称。

topic.qualifiedName: <topic>@<clusterName>

2. 安装

二进制文件存在于apache-atlas-<release-version>-kafka-hook.tar.gz

apache-atlas-kafka-hook-<release-version>/hook/kafka文件夹复制到<atlas package>/hook/目录

apache-atlas-kafka-hook-<release-version>/hook-bin文件夹复制到<atlas package>/hook-bin目录

3. 导入Kafka元数据

Apache Atlas提供了一个命令行脚本import-kafka.sh,用于将Apache Kafka主题的元数据导入Apache Atlas。此脚本可用于使用Apache Kafka中存在的主题初始化Apache Atlas。此脚本支持导入特定主题或所有主题的元数据。

Usage 1: <atlas package>/hook-bin/import-kafka.sh
Usage 2: <atlas package>/hook-bin/import-kafka.sh [-t <topic prefix> OR --topic <topic prefix>]
Usage 3: <atlas package>/hook-bin/import-kafka.sh [-f <filename>]
         File Format:
            topic1
            topic2
            topic3

results matching ""

    No results matching ""