admin 管理员组

文章数量: 1184232


2023年12月17日发(作者:精通移涌)

安装部署手册KVM

版,

版本: 3.0.0

安装前摘要SmartX OS

包含三个组件,分别是 SmartX Fisheye、SmartX Elf Compute

和 SmartX ZBS。

安装前准备

硬件准备

SmartX

超融合基础架构集群推荐单个节点最低配置

硬件类型

CPU

配置需求Intel Xen E5-26XX V2 V3

系列

32GB

以上

数量2

内存磁盘控制器

SSD

HDD

SATA DOM

需要支持直通模式SSD

SAS/SATA HDD

64GB

1GbE

10 GbE

1

2

2

1

2

1

1

网络接口

交换机

3

10 GbE

交换机

软件准备

基于自己的环境选择相应的软件版本

软件名称

SmartX OS

版本3.0

2

工作原理通用的 x86

架构

SmartX

超融合基础架构是部署在通用的 X86 PC-Server

上的,通过分布式软件定义存储的方式提供给上层的虚拟化平台使用。

虚拟化环境

SmartX

超融合基础架构支持多种虚拟化环境,包括:VMware、XenServer、KVM

等;在 VMware

环境中,需要现在每个 x86

物理节点上安装 VMware ESXi

提供计算虚拟化;在 XenServer

环境中,需要现在每个 x86

物理节点上安装 XenServer

提供计算虚拟化;在 KVM

环境

中直接安装 Linux

系统即可;在目前的部署方式中,需要将 ESXi/XenServer/Linux

安装在 SATA DOM

中。

SCVM(SmartX Controller Virtual Machine)

SCVM

是 SmartX

分布式存储的控制控制器:

1.在 VMware/Xenserver

环境中以虚拟机的方式呈现,在 SCVM

中会安装 SmartX OS,通过磁盘控制器直通的方式将磁盘控制器透传到 SCVM

中,从而 SCVM

来管理所有物理节点上的磁盘,包含 SSD、HDD。然后每个节点上的 SCVM

会通过网络组成分布式存储集群,提供一个大的块设备存储池。2.在 KVM

环境中,SCVM

直接安装在物理主机上系统。网络

在 SmartX

超融合基础架构中,需要三种网络,分别是:

1.管理/业务网络用于 SCVM

的管理网络;

虚拟机的业务网络;两种网络即可捆绑在一起也可分开单独组网。

2.存储网络用于 SmartX ZBS

分布式存储集群内部数据交换使用,即集群中各 SCVM

之间的通信网络;存储网络必须使用 10GbE

交换网络。

3

SmartX on KVM

安装部署步骤

SmartX ZBS

分布式存储单集群支持最多 255

个节点,最小 3

个节点,以下安装部署以 3

个节点为例;

1.配置网络2.安装 SmartX OS3.配置 SmartX ZBS

分布式存储集群,提供存储池;配置网络

1.主机千兆网口插上网线,接入千兆交换机2.主机的万兆网口插上网线,接入万兆交换机安装 SmartX OS

获取 SmartX OS 介质

1.通过 SmartX

官方网站()下载最新版本的系统镜像。2.通过 SmartX

销售或者售前人员获取最新版的系统镜像。SmartX OS 引导安装选项

/

闪存驱动器artX OS 系统分区方式

目前的 SmartX

系统支持两种分区方式:Halo

分区和非 Halo

分区

分区:

(推荐使用方式)a.操作系统安装在多块 SSD

做的软 raid1

上b.需要独立的一块物理盘作为系统的 boot driver2.非 Halo

分区:

操作系统以及 boot driver

安装在独立的一块磁盘上ISO

安装时会提供多个 boot menu选项:

l SMARTXOS l SMARTXOS 4

SmartX OS安装步骤

下文的安装步骤都是以 Halo

分区方式为例:

1.在 SCVM

虚拟机中加载 SmartX OS

镜像,选择 “ Install SMARTXOS Halo ”选择 “ Install SMARTXOS Halo ”

2.选择安装 boot driver

的 disk: iso

里的 kickstart

脚本会自动选择一个符合条件的 disk

作为 boot driver,当找不到符合条件的 disk

时,会提示用户自己输入,如下图:

boot drive

安装

5

3.选择 SSD disks

安装 OS: kickstart

脚本自动选择类型为 SSD

的 disks。当找不到时,会提示用户自己输入:SmartX OS

安装位置

4.系统安装,SmartX OS

安装是无人值守方式安装。5.安装完成后,重启进入系统。SmartX OS rootabc123

SmartX

集群部署步骤

1.环境准备:在每个 SCVM

里,请确保一下几个条件:a.数据网卡(万兆网卡)ifup,且获取到 ipv6

地址ctl status nginx

确保 nginx

服务启动ctl status zbs-deploy-server

确保 zbs-deploy-server

服务启动2.登录 Web

页面(之前配置任意一台 SCVM

的节点管理 IP,

管理 IP

由 DHCP

自动分配)。在浏览器中输入 IP address,进入集群配置界面。

注:

如果 SCVM

没有自动分配的 ipv4

地址,请使用 ipv6地址 6

3.阅读软件产品安装协议,选择“同意”,下一步。产品安装协议4.输入群集名称,选择安装平台- “超融合架构-Elf虚拟化计算”,点击“开始扫描集群”。 7

选择部署平台扫描集群5.配置主机。 ifup( IPv6

nfs , ) ifup

扫描出的主机默认全选。

排序按照以下字段值(非空)数字-字母顺序: 1.

主机名 2.

服务标签 3.

同名网口绑定的 IP。

手动添加主机:若扫描主机个数与实际部署不相符,则通过手动添加主机来进行添加

8

排序:可以按照主机名,网口关联 IP,服务标签进行主机排序。

批量编辑:按照当前顺序,从 1-X

自动填充「主机名」输入框。

当主机名公用部分不为空时,启用「提交」按钮。如「I」那

样禁止选择的主机会被跳过,不会受到批量编辑的影响。

9

集群扫描结果各节点磁盘信息 10

各节点网口信息选择要部署的主机,然后点击“配置网络”进行下一步。

11

6.配置网络●集群网络○初始状态下不存在虚拟分布式交换机设置,用户需要针对存储网络和管理网络分别创建虚拟分布式交换机○配置虚拟分布式交换机网关,掩码,VLAN ID,指定关联网口●主机○管理 IP:输入 SCVM

的管理 IP

地址,需要检查管理网络关联接口是否正确。○数据 IP:输入 SCVM

的数据网络 IP

地址,需要检查数据网络关联接口是否正确。○管理 IP

与数据 IP

可以通过添加起始 IP

的方式来批量编辑。创建管理网络虚拟分布式交换机

12

创建存储网络虚拟分布式交换机 13

配置网络●DNS & NTP在该界面,要配置 DNS

服务器,可以指定多个;在配置 NTP

服务时,可以选择外部 NTP

服务器和内部 NTP

服务器,如果没有外部 NTP

服务器则会在集群内部配置 NTP Server。

配置 DNS

服务器与 NTP

服务器 14

8.检查集群配置集群配置信息

15

集群网络、DNS、NTP配置9.执行集群配置 16

执行集群配置集群配置过程中会有进度条,可以点击查看日志 17

10.集群配置完成集群配置完毕11.设置管理密码 18

设置管理员密码

配置前后磁盘分区对照SCVM

部署前后磁盘分区对照

19

附录一

脚本部署 SmartX

集群

SmartX

还提供通过配置文件脚本部署 SCVM

的方式,为了应对一下几种场景:

1.2.通过 fisheye

界面扫描时,发现的主机数与实际情况不符特殊的磁盘类型以及用途:a.全 SSD

硬盘b.部分 SSD

作为数据存储3.4.网络已配置好,不需要再配置网路采用非 Halo

分区方式安装的 OS脚本部署可以根据部署的模块是否齐全分为两类:

全部署以及 zbsonly

部署

1.全部署编写配置文件(/usr/share/zbs_deploy/script/):

#required

SmartX OS

安装时,是否采用了 halo

分区方式

halo=true

选择部署平台,vmware / kvm / xenserver

platform=kvm

选择是否安装 job-center

jobcenter=true选择是否安装 elfcompute

elfcompute=true填写 master

节点的 data-ip,以冒号“:”分隔

master_ips=10.0.10.101:10.0.10.102 20

填写该节点 data-ip,对应网卡以及 netmask

data=10.0.10.101:eth1:255.255.255.0

填写该节点 manage-ip,对应网卡,netmask

manage=192.168.30.105:eth0:255.255.240.0

填写该节点的 SSD

对应盘符

cache_disks=sdd:sde填写该节点管理网络网关

gateway=192.168.16.1#optional

填写该节点 SATA

盘对应盘符

extent_disks=sdb:sdc编辑部署集群名

cluster_name=cluster编辑该节点主机名

hostname=node1指定该节点 DNS

dns_server=114.114.114.114:8.8.8.8指定该节点 tag

tags=master:zbs设置该节点 NTP

服务器方式

21

ntp_mode=external指定 NTP

服务器

ntp_server=:在确保要部署的节点配置文件编写正确后,同时在 master

节点上执行命令:

观察屏幕回显,看是否有异常现象。log

路径为 /var/log/zbs/

在 master

节点部署完成后,依次在 storage

节点上执行命令:

y

部署:网络相关的配置已经弄好,只是安装 smartx

的服务编写配置文件(/usr/share/zbs_deploy/script/):

#required

SmartX OS

安装时,是否采用了 halo

分区方式

halo=true选择部署平台,vmware / kvm

platform=vmware选择是否安装 job-center

jobcenter=false选择是否安装 elf compute

elfcompute=false填写 master

节点的 data-ip,以冒号“:”分隔

master_ips=10.0.10.101:10.0.10.102 22

填写该节点 data-ip,对应网卡以及 netmask

data=10.0.10.101:eth1:255.255.255.0填写该节点 manage-ip,对应网卡,netmask

manage=192.168.30.105:eth0:255.255.240.0

填写该节点的 SSD

对应盘符

cache_disks=sdb#optional

填写该节点 SATA

盘对应盘符

extent_disks=sdc在确保要部署的节点配置文件编写正确后,同时在 master

节点上执行命令:

观察屏幕回显,看是否有异常现象。log

路径为 /var/log/zbs/

在 master

节点部署完成后,依次在 storage

节点上执行命令:

23


本文标签: 配置 安装 集群 部署 节点