跳到主要内容

如何部署 Flink 服务

提示
  • Flink 服务是 HAP 系统的可选扩展模块，用户可根据实际需求决定是否启用。
  • 启用之前请确保 Docker 版本在 20.10.16 及以上，服务器空余物理内存 8G+。
  • 当部署 HAP 的服务器是 32G 时，请不要再额外启用本模块，否则会加剧内存不足影响系统可用性，建议升级至 64GB 后再启用。

单机部署模式快速安装可参考如下：（集群部署模式下相对复杂，可联系 HAP 团队协助完成）

  1. 下载镜像（离线包下载）

    docker pull registry.cn-hangzhou.aliyuncs.com/mdpublic/mingdaoyun-flink:1.19.710

  2. 执行下方命令，检查是否有输出包含关键字 start minio 的一行内容

    docker logs $(docker ps | grep mingdaoyun-sc | awk '{print $1}') | grep minio

    1. 修改 docker-compose.yaml 文件（默认路径为：/data/mingdao/script/docker-compose.yaml）

      1. 添加 flink 服务

          flink:
            image: registry.cn-hangzhou.aliyuncs.com/mdpublic/mingdaoyun-flink:1.19.710
            entrypoint: ["/bin/bash"]
            command: ["/run.sh"]
            environment: 
              ENV_FLINK_S3_ENDPOINT: "sc:9010"
            volumes:
              - ./volume/data/:/data/

      2. app 服务添加 ENV_FLINK_URL 环境变量

        app:
          environment:
            ENV_FLINK_URL: "http://flink:8081"
        点击查看完整修改示例
        version: '3'

        services:
          app:
            image: registry.cn-hangzhou.aliyuncs.com/mdpublic/mingdaoyun-hap:7.1.0
            environment: &app-environment
              ENV_ADDRESS_MAIN: "https://hap.domain.com"
              ENV_APP_VERSION: "7.1.0"
              ENV_API_TOKEN: "******"
              ENV_FLINK_URL: "http://flink:8081" # 新增：启用 Flink 服务
            ports:
              - 8880:8880
            volumes:
              - ./volume/data/:/data/
              - ../data:/data/mingdao/data

          sc:
            image: registry.cn-hangzhou.aliyuncs.com/mdpublic/mingdaoyun-sc:3.2.0
            environment:
              <<: *app-environment
            volumes:
              - ./volume/data/:/data/

          command:
            image: registry.cn-hangzhou.aliyuncs.com/mdpublic/mingdaoyun-command:node1018-python36

          doc:
            image: registry.cn-hangzhou.aliyuncs.com/mdpublic/mingdaoyun-doc:2.0.0

          # --- 以下为新增服务 ---
          flink:
            image: registry.cn-hangzhou.aliyuncs.com/mdpublic/mingdaoyun-flink:1.19.710
            entrypoint: ["/bin/bash"]
            command: ["/run.sh"]
            environment: 
              ENV_FLINK_S3_ENDPOINT: "sc:9010"
            volumes:
              - ./volume/data/:/data/

    2. 重启服务，在安装管理器解压路径下执行

      bash service.sh restartall