Kafka mit Ansible automatisieren

Ein Rolle ist eine Kombination von Tasks. Sie ist idempotent und sollte idealerweise mit VCS kombiniert werden.

---
#preflight confluent role
- name: Add open JDK repo
  apt_repository:
    repo: ppa:openjdk-r/ppa


- name: Install Java
  apt:
    name: "openjdk-8-jdk"
    update_cache: yes
...


Kafka

Mit Ansible ist es möglich, eine Kafka-Bereitstellung zu verwalten. Man kann verschiedene Kafka-bezogene Aufgaben automatisieren, einheitliche Konfigurationen in einem Cluster sicherstellen und die Kafka-Infrastruktur einfach skalieren und steuern. Zur gleichen Zeit, als Ansible ins Leben gerufen wurde, entstand 2012 Confluent Kafka. Kafka Playbooks sind eine Reihe von Ansible Playbooks und -Rollen, die bei der Bereitstellung und Verwaltung von Kafka Clusters mit Ansible helfen. Diese Playbooks sollen den Prozess der Einrichtung und Konfiguration eines Kafka Cluster vereinfachen, einschließlich der Installation von Kafka, ZooKeeper und anderen zugehörigen Komponenten.

Das folgende Inventory könnte für das Bereitstellen von einem Kafka Cluster verwendet werden:

---
#inventory.yaml
  zookeeper:
   hosts:
    host1:
     ansible_host: 13.12.2.1
    host2:
     ansible_host: 13.12.2.2
    host3:
     ansible_host: 13.12.2.3
  broker:
   hosts:
    host1:
     ansible_host: 13.12.2.1
    host2:
     ansible_host: 13.12.2.2
    host3:
     ansible_host: 13.12.2.3


Die Confluent Kafka Playbooks bieten eine hochgradige Abstraktion für die Verwaltung der Kafka-Infrastruktur. Sie kapseln die von Confluent bereitgestellten Best Practices und Konfigurationsempfehlungen und können an spezifische Bereitstellungsanforderungen angepasst werden. Sie können die Playbooks verwenden, um Rollen Servern zuzuordnen:


- hosts: preflight
  tasks:
  - import_role:
      name: confluent.preflight

- hosts: ssl_CA
  tasks:
  - import_role:
      name: confluent.ssl_CA

- hosts: zookeeper
  tasks:
  - import_role:
      name: confluent.zookeeper

- hosts: broker
  tasks:
  - import_role:
      name: confluent.kafka-broker

- hosts: schema-registry
  tasks:
  - import_role:
      name: confluent.schema-registry


Innerhalb einer Rolle können Variablen …


---
#defaults/main.yml
kafka:
  broker:
    user: "cp-kafka"
    group: "confluent"
    config_file: "/etc/kafka/server.properties"
    systemd_file: |
     "/usr/lib/systemd/system/kafka.service"
    service_name: "kafka"
    datadir:
      - "/var/lib/kafka/data"
    systemd:
      enabled: yes
      state: "started"
    environment:
      KAFKA_HEAP_OPTS: "-Xmx1g"
    config:
      group.initial.rebalance.delay.ms: 0
      log.retention.check.interval.ms: 300000
      num.partitions: 1
      num.recovery.threads.per.data.dir: 2
      offsets.topic.replication.factor: 3
      transaction.state.log.min.isr: 2
      zookeeper.connection.timeout.ms: 6000
      # [...] many more


… und Code getrennt werden:

---
# [...] tasks to create user,group and dirs
# tasks/main.yml
- name: broker ssl config
  template:
    src: server_ssl.properties.j2
    dest: "{{kafka.broker.config_file}}"
    mode: 0640
    owner: "{{kafka.broker.user}}"
    group: "{{kafka.broker.group}}"
  when: security_mode == "ssl"
  notify:
    - restart kafka


- name: create systemd override file
  file:
    path: "{{kafka.broker.systemd_override}}"
    owner: "{{kafka.broker.user}}"
    group: "{{kafka.broker.group}}"
    state: directory
    mode: 0640


- name: broker configure service
  systemd:
    name: "{{kafka.broker.service_name}}"
    enabled: "{{kafka.broker.systemd.enabled}}"
    state: "{{kafka.broker.systemd.state}}"