安装datahub

(18) 2024-03-14 12:12

Hi,大家好,我是编程小6,很荣幸遇见你,我把这些年在开发过程中遇到的问题或想法写出来,今天说一说安装datahub,希望能够帮助你!!!。

安装datahub

安装的时候因为去国外网站下载经常会出现下载失败的问题大家可以使用国内下载方式经行下载
安装docker

# 安装docker
yum -y install docker
# 安装docker-compose
curl -L "https://github.com/docker/compose/releases/download/1.27.4/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose
守护进程重启
$ sudo systemctl daemon-reload
重启docker服务
$ sudo systemctl restart docker
// 然后检查启动
$ docker container ls
# 检查docker是否启动成功,如果命令成功运行,则启动成功
docker ps

安装datahub_https://bianchenghao6.com/blog__第1张
安装python3

#安装wget
yum install wget
#下载python3源码包
wget https://www.python.org/ftp/python/3.8.1/Python-3.8.1.tgz
#解压压缩包
tar -zxvf Python-3.8.1.tgz  
#进入文件夹
cd Python-3.8.1
#配置安装位置
./configure prefix=/usr/local/python3
#安装
make && make install
#添加python3的软链接 
ln -s /usr/local/python3/bin/python3.8 /usr/bin/python3 
#添加 pip3 的软链接 
ln -s /usr/local/python3/bin/pip3.8 /usr/bin/pip3
#验证是否安装成功,查看python3的版本
python3 -V
#验证是否安装成功,查看pip3的版本
pip3 -V
![在这里插入图片描述](https://img-blog.csdnimg.cn/c8ab8613e28f4962b2da54c467c6b850.png)

安装datahub

python3 -m pip install --upgrade pip wheel setuptools
python3 -m pip uninstall datahub acryl-datahub || true  # sanity check - ok if it fails
python3 -m pip install --upgrade acryl-datahub
python3 -m datahub version

这里可能会报错超时:socket.timeout: The read operation timed out
安装datahub_https://bianchenghao6.com/blog__第2张
可以适当增加请求时间 我这里添加为100之后可以
python3 -m pip --default-timeout=100 install --upgrade acryl-datahub

执行
python3 -m datahub version
如下图就可以了
安装datahub_https://bianchenghao6.com/blog__第3张
启动datahub这里如果失败了没事,我这边执行5-6次才出现下面的页面
python3 -m datahub docker quickstart
安装datahub_https://bianchenghao6.com/blog__第4张
访问ip:9002 输入 datahub datahub 登录
安装datahub_https://bianchenghao6.com/blog__第5张
这边测试一个将mysql的元数据上次至datahub
首先下载mysql的摄入插件
pip install ‘acryl-datahub[mysql]’(其他数据源插件官网都有)
随后可以检查一下mysql的插件是否安装
python3 -m datahub check plugins
安装datahub_https://bianchenghao6.com/blog__第6张
可以看到已经有了mysql的source之后编写一个提取的脚本任务,配置你的数据源及目的端
vim mysql_to_datahub_rest.yml
安装datahub_https://bianchenghao6.com/blog__第7张

# A sample recipe that pulls metadata from MySQL and puts it into DataHub
# using the Rest API.

source:
  type: mysql
  config:
    username: root
    password: 123456
    host_port: 192.168.8.25:3306
    database: mysql


sink:
  type: "datahub-rest"
  config:
    server: "http://192.168.8.45:8080"

之后运行任务提取元数据到datahub
datahub ingest -c mysql_to_datahub_rest.yml
之后就可以在web端看到你的元数据信息了
安装datahub_https://bianchenghao6.com/blog__第8张

最后贴一个我参考的网址
https://www.cnblogs.com/tree1123/p/15743253.html
https://blog.csdn.net/u013946257/article/details/121338040

今天的分享到此就结束了,感谢您的阅读,如果确实帮到您,您可以动动手指转发给其他人。

上一篇

已是最后文章

下一篇

已是最新文章

发表回复