跳到主要内容

如何启用数据集成功能

提示
  • 数据集成是HAP系统的可选扩展模块，用户可根据实际需求决定是否启用。
  • 启用之前请确保 Docker 版本在 20.10.16 及以上，服务器空余物理内存 8G+。
  • 当部署HAP的服务器是32G时，请不要再额外启用本模块，否则会加剧内存不足影响系统可用性，建议升级至64GB后再启用。

单机部署模式快速安装可参考如下：（集群部署模式下相对复杂，可联系 HAP 团队协助完成）

  1. 下载镜像（离线包下载）

    docker pull registry.cn-hangzhou.aliyuncs.com/mdpublic/mingdaoyun-flink:1.17.1.530

  2. 执行下方命令，检查是否有输出包含关键字 start minio 的一行内容

    docker logs $(docker ps | grep mingdaoyun-sc | awk '{print $1}') | grep minio

    1. 修改 docker-compose.yaml 文件（默认路径为：/data/mingdao/script/docker-compose.yaml）

      1. 添加 flink 服务

          flink:
            image: registry.cn-hangzhou.aliyuncs.com/mdpublic/mingdaoyun-flink:1.17.1.530
            entrypoint: ["/bin/bash"]
            command: ["/run.sh"]
            environment: 
              ENV_FLINK_S3_ENDPOINT: "sc:9010"
            volumes:
              - ./volume/data/:/data/

      2. app 服务添加 ENV_FLINK_URL 环境变量

        app:
          environment:
            ENV_FLINK_URL: "http://flink:8081"
        示例
        version: '3'

        services:
          app:
            image: registry.cn-hangzhou.aliyuncs.com/mdpublic/mingdaoyun-community:6.4.0
            environment: &app-environment
              ENV_ADDRESS_MAIN: "https://hap.domain.com"
              ENV_APP_VERSION: "6.4.0"
              ENV_API_TOKEN: "******"
              ENV_FLINK_URL: "http://flink:8081" #新增内容
            ports:
              - 8880:8880
            volumes:
              - ./volume/data/:/data/
              - ../data:/data/mingdao/data

          sc:
            image: registry.cn-hangzhou.aliyuncs.com/mdpublic/mingdaoyun-sc:3.2.0
            environment:
              <<: *app-environment
            volumes:
              - ./volume/data/:/data/

          command:
            image: registry.cn-hangzhou.aliyuncs.com/mdpublic/mingdaoyun-command:node1018-python36
            environment:
              <<: *app-environment

          doc:
            image: registry.cn-hangzhou.aliyuncs.com/mdpublic/mingdaoyun-doc:2.0.0
            environment:
              ENV_FILE_INNER_URI: "app:8880"

          # 以下内容为新增
          flink:
            image: registry.cn-hangzhou.aliyuncs.com/mdpublic/mingdaoyun-flink:1.17.1.530
            entrypoint: ["/bin/bash"]
            command: ["/run.sh"]
            environment: 
              ENV_FLINK_S3_ENDPOINT: "sc:9010"
            volumes:
              - ./volume/data/:/data/

    2. 重启 HAP 服务