`

MySql大数据量的优化

阅读更多
针对最近做的mysql优化,总结了以下几点:

1.索引优化
为常用的检索条件加上索引,索引分为Index索引和Unique Key索引,这两个索引对表的要求不同,执行的效率也不同,另外索引使用Hash还是B-tree也要根据自己的检索方式来决定。然后定下几个方案,使用explain命令检查索引的使用情况,使用profiles命令跟踪查询的效率。最终决定一个合适的索引方案。

2.SQL查询优化
对于执行大数据量查询的SQL,直接使用JDBC,避免使用数据库中间件(Hibernate等)

3.表分区优化
使用表分区可以把一张表的数据按照自己定义的规则分别存在不同的硬盘(分区)中,将会极大提高存取速度。

4.关于抽样表
特定的情况下(对数据的完整性要求不高的业务,例如查看股票的年趋势,月趋势,日趋势等等)可以使用抽样表,根据不同的粒度建立多个抽样表。

另外还看到使用数据仓库,分布式集群啥的,只是那玩意儿太烧钱了,只有大公司玩得起。
分享到:
评论

相关推荐

    mysql大数据量优化

    mysql数据优化详介绍:使用连接来代替子查询,使用联合来代替手动创建临时表,事物,使用外键等等

    MySQL大数据量分页查询方法及其优化

    MySQL大数据量分页查询方法及其优化

    mysql200万条大数据量测试sql文件

    mysql200万+条大数据量测试sql文件,可以用于测试服务器数据库性能,学习sql性能优化和调优。资源是.sql文件压缩后上传。用navicat导入实测用时几分钟时间,数据量200W+条。快速获取百万级真实测试数据。

    大数据量测试数据(MySQL)

    MySQL测试用数据,解压之后执行employees.sql创建表及导入数据。三十万条左右的数据量,适合练习SQL语句优化

    mysql数据库In的优化.txt

    mysql数据库in大量数据优化方法.

    详细讲解MySQL大数据量分页SQL语句优化

    分页程序原理很简单,这里就不多说了,本篇文章主要说的是在数据表记录量比较大的情况下,如何将分页SQL做到更优化,让MySQL执行的更快的方法。

    一次Mysql使用IN大数据量的优化记录

    mysql版本号是5.7.28,表A有390W条记录,使用InnoDB引擎,其中varchar类型字段mac已建立索引,索引方法为B-tree。B表仅有5000+条记录。 有一条SQL指令是这样写的: SELECT * FROM A WHERE mac IN(aa:aa:aa:aa:aa:aa...

    mysql分页查询优化,大数据量优化

    传统的mysql分页查询 ...特别是上线后数据量积累比较快,必须重视SQL优化,否则影响系统运行和用户使用体验 性能实验 直接用limit start, count分页语句, 也是我程序中用的方法: select * from table lim

    MySQL大数据量快速插入方法和语句优化

    MySQL大数据量快速插入方法和语句优化是本文我们主要要介绍的内容,接下来我们就来一一介绍,希望能够对您有所收获!插入一个记录需要的时间由下列因素组成,其中的数字表示大约比例:连接:(3)发送查询给服务器:...

    C#在MySQL大量数据下的高效读取、写入详解

    最近由于工作的原因,经常需要对海量数据进行处理,做的数据爬虫相关,动辄千万级别的数据,单表几十个G 都是都是家常便饭。 那么主要的开发语言是C#,数据库使用的是MySQL。下面通过这篇文章我们来一起学习学习吧。

    MySQL百万级数据量分页查询方法及其优化建议

    主要介绍了MySQL百万级数据量分页查询方法及其优化建议,帮助大家更好的处理MySQL数据库,感兴趣的朋友可以了解下

    MySQL大表性能优化方案 和 MySQL高性能表设计规范

    正对mysql,单个表数据量过大的优化方案,与高性能的表设计规范,提供数据库tps。希望对大家有帮助

    大数据量下58同城MySQL实践-技术方案

    大数据量下58同城MySQL实践,本文件是技术方案,58同城资深的架构师所著,值得学习。

    MySQL千万数据解决方案

    缺点:有优化瓶颈,数据量过亿就玩完了。 方案二:升级数据库类型,换一种100%兼容mysql的数据库。优点:不影响现有业务,源程序不需要修改代码,你几乎不需要做任何操作就能提升数据库性能,缺点:多花钱 方案三...

    30个mysql千万级大数据SQL查询优化技巧详解

    1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如:select id ...

    mysql优化小技巧之去除重复项实现方法分析【百万级数据】

    本文实例讲述了mysql优化小技巧之去除重复项实现方法。分享给大家供大家参考,具体如下: 说到这个去重,脑仁不禁得一疼,尤其是出具量比较大的时候。毕竟咱不是专业的DB,所以嘞,只能自己弄一下适合自己去重方法了...

    Mysql_如何进行性能优化教程

    Mysql_如何进行性能优化教程 数据索引通常默认采用btree索引,(内存表... 在极端情况下(比如数据查询需求量非常大,而数据更新需求极少,实时性要求不高,数据规模有限),直接使用单一排序序列,折半查找速度最快。

    分析MySQL中优化distinct的技巧

    这条sql用于统计用户访问的uv,由于单表的数据量在10G以上,即使在user_access_xx_xx上加上nick的索引, 通过查看执行计划,也为全索引扫描,sql在执行的时候,会对整个服务器带来抖动; root@db 09:00:12>select ...

    mysql数据优化详细教程

    在实际生产环境中,由于数据库本身的性能局限,就必须要对前台的应用进行一些优化,来降低数据库的访问压力。频繁的创建关闭连接,是比较...分布式数据库架构适合大数据量、负载高的情况,它有良好的拓展性和高可用性。

Global site tag (gtag.js) - Google Analytics