Skip to content
This repository has been archived by the owner on Jun 4, 2020. It is now read-only.
/ Akita Public archive

Akita 秋田犬:Canal 到 Apache Kafka 和 Apache Flume 流数据集成服务

License

Notifications You must be signed in to change notification settings

dyingbleed/Akita

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

30 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Akita 秋田犬

Ali Canal 数据集成服务

特性:

  • 支持集成数据到 Kafka 和 Flume
  • 服务自愈
  • 基于背压(back prssure)的流量控制
  • 数据 at least once 递交保证

构建

执行

mvn clean package

target 目录下生成 Akita-release.tar.gzAkita-release.zip 文件

配置

编辑 conf/akita.properties 文件

配置说明:

  • canal.servers Canal 服务地址
  • canal.destination Canal 服务实例
  • canal.username Canal 用户名
  • canal.password Canal 密码
  • canal.filter Canal 表过滤
  • kafka.servers Kafka Broker 服务地址
  • kafka.topic Kafka 主题
  • flume.host Flume Thrift Server 主机地址
  • flume.port Flume Thrift Server 主机端口号

启停服务

启动服务,集成数据到 Kafka

bin/start-akita.sh kafka

启动服务,集成数据到 Flume

bin/start-akita.sh flume

停止

bin/stop-akita.sh

消息

{
  "name":"Tom",
  "sex":"m",
  "age": 18
}

About

Akita 秋田犬:Canal 到 Apache Kafka 和 Apache Flume 流数据集成服务

Topics

Resources

License

Stars

Watchers

Forks

Packages

No packages published