您现在的位置是:首页 > 正文

mongodb分片部署

2024-01-30 22:44:15阅读 0

1、mongodb分片科普 (各种罗嗦) 

Replica Set(副本集):

副本集使其组内的每个成员(member)在不同的mongod实例中具有相同的数据备份,这样可以将来自应用服务器的请求访问(request visit)得以均匀的分布在Replica Set的每一个成员所在的mongod实例上,用以减缓单台mongod服务器在请求负载上的压力。在一定时限内Replica Set能完成其组内成员数据的最终一致,这种备份机制是自动且对用户透明的。

Mongodb使用缓存来大量命中读请求来达到提高吞吐量的目的,这样使得在某些极端的情况下(比如单机房部署环境下机房断电)仍不能保证数据完整可靠的保存下来。会丢失最近几十秒内最新写入的数据。

   

Sharding(切分规则):

在单mongod实例中的数据负载过大时,可以考虑将实例中的数据按一定的规则将数据部署到不同mongod实例中。同样在此切分规则之下,对数据的访问请求也将按此规则分发到不同的mongod实例中,解决单机数据量过大时查询性能下降的问题。

当然,系统要求数据库在切分规则下也有较高的可用性,保证数据在经过切分后也会有多份拷贝放置在不同的服务器中。使得相同数据的mongod实例形成分片组(shards group),既Replica Set。这样使得mongodb集群允许不多的服务器故障后仍然保有完整的数据。

   

Config Server(配置服务器):

Config Server存储分片集群的的元数据,其中包括在每个mongod实例的基本信息和块信息。每个配置服务器所有块的元数据的副本。通过两次提交来确保在配置服务器信息与块数据的一致性。

   

Routing Processor(mongos路由进程)

mongos 可以被看作是一个数据和请求分发的中心,使单一的mongod实例组成互相关联的集群。当接收客户端请求, mongos根据Config Server路由到相应的mongod实例(可能是一组mongod),处理并返回结果。mongos 进程没有持久状态,在mongos启动时和配置服务器建立连接并获取状态,当配置服务器发生任何变化时,会将之传播到每个mongos 进程。

   

clip_image002[7]

(领导让写个方案,就照着别人的画了个图,纯属剽窃,如有雷同,不会是巧合! )

   

2、启动三台机器的mongod实例

根据Replica Set、Sharding策略部署mongod。将两个sharding组部署到三台服务器上,每个sharding组有三个replica set成员。

   

#Server1:
mkdir -p /data2/mongodb/shard11
mkdir -p /data2/mongodb/shard21
/mongodb/bin/mongod --shardsvr --replSet shard1 --port 27017 --dbpath /data2/mongodb/shard11 --oplogSize 100 --logpath /data2/mongodb/shard11.log --logappend --fork --rest
/mongodb/bin/mongod --shardsvr --replSet shard2 --port 27018 --dbpath /data2/mongodb/shard21 --oplogSize 100 --logpath /data2/mongodb/shard21.log --logappend --fork –rest

   

#Server2:
mkdir -p /data2/mongodb/shard12/
mkdir -p /data2/mongodb/shard22/
/mongodb/bin/mongod --shardsvr --replSet shard1 --port 27017 --dbpath /data2/mongodb/shard12 --oplogSize 100 --logpath /data2/mongodb/shard12.log --logappend --fork --rest
/mongodb/bin/mongod --shardsvr --replSet shard2 --port 27018 --dbpath /data2/mongodb/shard22 --oplogSize 100 --logpath /data2/mongodb/shard22.log --logappend --fork –rest

   

#Server3:
mkdir -p /data2/mongodb/shard13/
mkdir -p /data2/mongodb/shard23/
/mongodb/bin/mongod --shardsvr --replSet shard1 --port 27017 --dbpath /data2/mongodb/shard13 --oplogSize 100 --logpath /data2/mongodb/shard13.log --logappend --fork --rest
/mongodb/bin/mongod --shardsvr --replSet shard2 --port 27018 --dbpath /data2/mongodb/shard23 --oplogSize 100 --logpath /data2/mongodb/shard23.log --logappend --fork –rest

   

3、初始化Replica Set

通过命令行初始化两组Replica Set,通过mongo连接到一个mongod

/mongodb/bin/mongo 172.17.0.121:27017

config = {_id: ‘shard1′, members: [
                          {_id: 0, host: '172.17.0.121:27017'},
                          {_id: 1, host: '172.17.0.122:27017'},
                          {_id: 2, host: '172.17.0.123:27017'}]};

rs.initiate(config);

/mongodb/bin/mongo 172.17.0.121:27018

config = {_id: ‘shard2′, members: [
                          {_id: 0, host: '172.17.0.121:27018'},
                          {_id: 1, host: '172.17.0.122:27018'},
                          {_id: 2, host: '172.17.0.123:27018'}]};

rs.initiate(config);

   

4、启动并配置三台Config Server

#Server1、2、3:
mkdir -p /data2/mongodb/config/
/mongodb/bin/mongod --configsvr --dbpath /data2/mongodb/config/ --port 20000 --logpath /data2/mongodb/config1.log --logappend –fork

        

5、部署并配置三台Routing Server

指定所有的config sever地址参数,chunkSize是分割数据时每块(Chunk)的单位大小

#Server1、2、3:

/mongodb/bin/mongos --configdb 172.17.0.121:20000, 172.17.0.122:20000, 172.17.0.123:20000 --port 30000 --chunkSize 100 --logpath /data2/mongodb/mongos.log --logappend –fork

   

6、命令行添加分片

连接到mongs服务器,并切换到admin

/mongodb/bin/mongo 172.17.0.121:30000/admin

db.runCommand( {

    addshard : “shard1/172.17.0.121:27017, 172.17.0.122:27017, 172.17.0.123:27017”,

    name:”shard1”,

    maxsize:20480,

    allowLocal:true } );

db.runCommand( {

    addshard : “shard2/172.17.0.121:27018, 172.17.0.122:27018, 172.17.0.123:27018”,

    name:”shard2”,

    maxsize:20480

    allowLocal:true} );

db.runCommand( { listshards : 1 } );

如果列出(sharding)了以上二个你加的shards,表示shards已经配置成功

    

7、激活数据库的分片

DB分片, 使DB下所有Collection实现数据的横向切分

db.runCommand( { enablesharding : “test” } );

查看Sharding状态

use admin;

db.printShardingStatus();

Collection分片,  使单个Collection实现数据的横向切分

要使单个Collection分片存储,需要给Collection指定一个分片key。

a. 分片的collection系统会自动创建一个索引(也可用户提前创建好)

b. 分片的collection只能有一个在分片key上的唯一索引,其它唯一索引不被允许

db.runCommand( { shardcollection : “test.c1″,key : {id: 1} };

可以通过db.c1.stats()来查看分片状态。

   

final、生产环境建议使用配置文件来启动mongod

例: /mongodb/bin/mongod --config /data2/mongodb/shard1/shard1.properties --rest

总结:

1. 一个或多个分片,其中每个分片持有部分数据(自动管理)。读写操作自动路由到合适的分片上。每个分片是一个replica set。

一个replica set是一台或多台服务器,每台机器持有相同数据的拷贝。在特定的时间点,一台机器是主节点而其他机器是从节点。如果主节点死掉了,其中一台从节点自动接管为主节点。所有的写操作和一致性读操作都进入主节点,而所有的最终一致性读操作分布到所有从节点上。

2. 多台配置服务器,其中每台配置服务器持有表明数据位于哪个分片的元数据的拷贝。

3. 一个或多个路由器,其中每个路由器都作为一个或多个客户端的服务器。客户端向路由器发起查询和更新,路由器询问配置服务器后将请求分发到合适的分片上。

4. 一个或多个客户端,其中每个客户端都是用户应用程序的一部分,它使用自身语言的mongo客户端驱动向路由器发起请求。

mongod 是服务器端程序(数据或配置)。 mongos 是路由器程序。




网站文章

  • 转录组助力HIV-1病毒感染机制研究新成果

    派森诺与中国人民解放军陆军军医大学&复旦大学携手合作,于近期在《Cellular & Molecular Immunology》上发表HIV-1 Vif通过靶向STING抑制抗病毒免疫的研究成果。研究...

    2024-01-30 22:43:44
  • 数据库常见面试题 —— 13. char 和 varchar 的区别

    阐述 char 和 varchar 的区别和使用的场景

    2024-01-30 22:43:30
  • Ruby测试小代码[计算50以内的素数]

    Ruby测试小代码[计算50以内的素数]

    2019独角兽企业重金招聘Python工程师标准>>> ...

    2024-01-30 22:43:22
  • Babel处理es6语法

    Babel处理es6语法

    npm install --save-dev babel-loader @babel/corenpm install @babel/preset-env --save-dev // 语法转义npm i...

    2024-01-30 22:42:53
  • c#中如何截取Windows消息来触发自定义事件

    概要 在c#windows开发中,我们常常会遇到拦截windows消息,来触发某个特定任务的问题。 由于目前使用c#的开发人员非常多,而且大多数c#程序员都不是从Windwos c++转过来的对windows消息机制不怎么了解,遇到这类问题还是挺棘手的,我们公司有个同事问,就写这个小实例,帮助那些遇到此类问题的兄弟姐妹。 实现方式目前有两种: 1 使用Control类的虚方法WndP...

    2024-01-30 22:42:44
  • 计算机nls数据丢失损坏无法启动,系统开机出现由于NLS数据丢失或损坏

    计算机nls数据丢失损坏无法启动,系统开机出现由于NLS数据丢失或损坏

    最近有网友遇见Win7系统开机报错:由于NLS数据丢失或损坏,因此Windows无法加的问题不知道怎么解决询问,开始也不着调如何解决,但是参考了大神的方案之后给出了解决方法: 具体解决方法:方法一: ...

    2024-01-30 22:42:37
  • Hadoop-Yarn的框架原理(二)

    Hadoop-Yarn的框架原理(二)

    1、Yarn生产环境核心参数 2、Yarn生产环境核心参数配置案例 需求:从1G数据中,统计每个单词出现次数。服务器3台,每台配置4G内存,4核CPU,4线程。 The class to use as the resource scheduler. yarn.resourcemanager.scheduler.cla

    2024-01-30 22:42:08
  • django在html中显示下拉列表,Django如何从下拉列表中动态显示选定值的表/行数据...

    又是我,Django菜鸟。在我试图通过一个html表从addpy表单的dropdowm中选择一个值来显示相关的行/信息。在我收到了一份员工模型的表格。我从一个来自employee model的LOV中...

    2024-01-30 22:41:59
  • 多线程作业及答案

    多线程作业 一、填空题 1.处于运行状态的线程在某些情况下,如执行了sleep(睡眠)方法,或等待I/O设备等资源,将让出CPU并暂时停止自己的运行,进入_________状态。 2.处于新建状态的线程被启动后,将进入线程队列排队等待CPU,此时它已具备了运行条件,一旦轮到享用CPU资源就可以获得执行机会。上述线程是处于 状态。 3.一个正在执行的线程可能被人为地中断,让...

    2024-01-30 22:41:51
  • 【C/C++】内存管理(一):shared_ptr

    【C/C++】内存管理(一):shared_ptr

    智能指针是的一部分,这个头文件主要负责C++的动态内存管理。C++的动态内存管理是通过new/delete实现,这其实在使用的时候很麻烦。所谓智能指针其实是一些模板类,它们负责自动管理一个指针的内存,...

    2024-01-30 22:41:22