马翔的博客

apache griffin安装文档1234567891011121314151617181920212223242526272829 griffin: image: apachegriffin/griffin_spark2:0.3.0 hostname: griffin links: - es environment: ES_HOSTNAME: es volumes: - /var/lib/mysql ports: - 32122:2122 - 38088:8088 # yarn rm web ui - 33306:3306 # mysql - 35432:5432 # postgres - 38042:8042 # yarn nm web ui - 39083:9083 # hive-metastore - 38998:8998 # livy - 38080:8080 # griffin ui tty: true container_name: griffines: ...

centos7在线datahub搭建1.安装vmware2.安装centos7设置虚拟机为8g内存，2核处理器，80g硬盘 3.环境准备关闭并禁用防火墙123456su rootsystemctl stop firewalldsystemctl disable firewalld#关闭selinux鉴权vim /etc/selinux/configSELINUX=disable 然后xshell连接虚拟机，方便操作 挂载共享文件夹在vmware里挂载对应目录 然后在虚拟机内 123cd /mnt/hgfsyum install open-vm-toolsvmhgfs-fuse .host:/ /mnt/hgfs yum换源12345678910111213141516#安装wgetyum install wget -y#备份原来的源sudo mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bk#下载阿里源cd /etc/yum.repos.dsudo wget -nc...

二进制部署k8s文档1.环境准备软件环境 软件 版本 操作系统 虚拟机为CentOS Linux release 7.9.2009 (Core)；生产为CentOS Linux release 7.7.1908 (Core) docker 19.03.8 kubernetes 1.13.0 服务器整体规划： 角色 ip 组件 master 192.168.188.128 kube-apiserver，kube-controller-manager，kube-scheduler，etcd node1 192.168.188.129 kubelet，kube-proxy，docker etcd node2 192.168.188.110 kubelet，kube-proxy，docker etcd w1-192.168.188.129 w2-...

常用graphql操作localhost:9002/api/graphiql 获取鉴权token输入 12345678910mutation { createAccessToken(input: {type: PERSONAL, actorUrn: "urn:li:corpuser:datahub", duration: ONE_HOUR, name: "my personal token"}) { accessToken metadata { id name description } }} 执行 12345678910111213{ "data": { "createAccessToken": { "accessToken":...

Prometheus监控文档1.SRE: Google运维解密​ 为了让亿万用户使用到稳定可靠的服务，Google 组建了一支专业的团队负责运行这些后端服务，这些工程师有一个共同的名字：Site Reliability Engineer。了解 Google SRE 的人常说的一句话是：和你们相比，大部分公司还处于刀耕火种时代，什么时候你们这些最佳实践能够帮助帮助其他的公司呢？资深 Google SRE Chris Jones 等人联合撰写了《Google SRE: How Google runs production systems》（以下简称《Google SRE》），首次向外界解密了谷歌的生产环境。前 Google 资深 SRE ，现 Coding.net CTO 孙宇聪 先生担任了本书译者。 ​ Prometheus受启发于Google的Brogmon监控系统（相似的Kubernetes是从Google的Brog系统演变而来） 康威定律 (康威法则 , Conway’s Law)...

authDfs网关部署文档1.新增authDfs网关服务服务名：rabc-saas-fastdfs-gateway 端口9998 2.新增authDfs网关Apollo配置id：rabc-saas-fastdfs-gateway 3.新增nginx配置配置防盗链：校验rerfer123456# 拦截非法referer valid_referers none 172.31.70.136; if ($invalid_referer) { return 403 ; #rewrite ^.*$ http://www.baidu.com/403.jpg; } 配置authDfs路由1234567891011121314151617181920upstream dfsGateway { server 172.31.70.137:9998 weight=1 max_fails=3 fail_timeout=180s; server 172.31.70.136:9998...

kubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具。 这个工具能通过两条指令完成一个kubernetes集群的部署： 12345# 创建一个 Master 节点$ kubeadm init# 将一个 Node 节点加入到当前集群中$ kubeadm join <Master节点的IP和端口 > 1. 安装要求在开始之前，部署Kubernetes集群机器需要满足以下几个条件： 一台或多台机器，操作系统 CentOS7.x-86_x64 硬件配置：2GB或更多RAM，2个CPU或更多CPU，硬盘30GB或更多 可以访问外网，需要拉取镜像，如果服务器不能上网，需要提前下载镜像并导入节点 禁止swap分区 2....

安装node_exporter和process_exporter文档1.docker部署node_exporter和process_exporter123456789101112131415161718192021222324#登录harbordocker login -u admin -p Harbor12345 172.31.10.118# 启动node-exporterdocker run -d --name node-exporter --restart=always -p 9100:9100 -v "/proc:/host/proc:ro" -v "/sys:/host/sys:ro" -v "/:/rootfs:ro" 172.31.10.118/monitor/node-exporter:v0.18.1# 启动process-exporterdocker run --restart=always -tid -p 9256:9256 --privileged -v /proc:/host/proc -v...

表类别管理1.查询所有主题 1234567891011listDomains(input:{start:0,count:100}){ domains{ urn type id properties{ name description } } } 2.查询所有数据源 123456789101112131415{ listIngestionSources(input:{start:0,count:100}){ total ingestionSources{ urn name type config{ recipe executorId version } } }} 3.添加删除编辑表 1234567891011create table...

离线安装docker1.软件环境 软件 版本 centos 7.6 docker 19 2.下载docker安装包官方地址：https://download.docker.com/linux/static/stable/x86_64/docker-19.03.9.tgz 3.解压缩1tar -zxvf docker-19.03.9.tgz 4.解压的docker文件夹全部移动至/usr/bin目录1cp -p docker/* /usr/bin 5.将docker注册为系统服务创建并编辑docker.service文件 1vi /usr/lib/systemd/system/docker.service 123456789101112131415161718192021222324252627282930[Unit]Description=Docker Application Container EngineDocumentation=http://docs.docker.comAfter=network.target...