|
|
51CTO旗下网站
|
|
移动端

面试官:在使用MySQL数据库时,遇到重复数据怎么处理?

前段时间,很多人问我能不能写一些数据库的文章,正好自己在测试mysql数据库性能的时候,出现了一个问题,也就是出现了很多重复的数据,想起来自己long long ago写过一篇类似的,仅此就拿来总结了一下。如果你在使用mysql的时候也遇到了这个问题,希望能对你有所帮助。

作者:Java的架构师技术栈来源:百家号|2019-08-07 09:52

前言

前段时间,很多人问我能不能写一些数据库的文章,正好自己在测试mysql数据库性能的时候,出现了一个问题,也就是出现了很多重复的数据,想起来自己long long ago写过一篇类似的,仅此就拿来总结了一下。如果你在使用mysql的时候也遇到了这个问题,希望能对你有所帮助。

注意:

这篇文章不是数据库系列的正式文章,有关mysql、MongoDB、redis、oracle等数据库系列的文章正在整理中。

其实解决能否插入重复数据的问题,一般情况下是有两个思路,就像治水一样,第一个就是从源头,第二个就是在水流经的路上。我们带着这两种思路继续往下看:

问题

在我们的mysql数据库中,经常会出现一些重复的数据,有些情况我们允许重复数据的存在,但有时候我们也需要删除这些重复的数据。 我们如何去处理呢?

方法一:防止出现重复数据

也就是说我们再设计表的时候,就应该对这些数据设置一个UNIQUE 索引,在插入的时候就可以保证其唯一性,也就不存在有重复的数据了。当然你也可以直接设置为PRIMARY KEY(主键)。效果也是一样的。 我们看一个案例:下表中无索引及主键,所以该表允许出现多条重复记录。

面试官:在使用mysql数据库时,遇到重复数据怎么处理?

目前first_name,last_name是可以重复的,如果不想重复这里有两个解决办法:

1、设置双主键模式

面试官:在使用mysql数据库时,遇到重复数据怎么处理?

现在就无法插入重复数据了。

2、添加unique索引

面试官:在使用mysql数据库时,遇到重复数据怎么处理?

这两种看起来形式好像有一点区别,但是能起到相同的作用。此时我们可以插入两条重复的数据,会发现报错。

当然我们还可以在数据库中去验证一下:

面试官:在使用mysql数据库时,遇到重复数据怎么处理?

在这里我们统计的是 first_name 和 last_name的重复记录数,上面已经用两种方法设置了,这里肯定就是0了。

方法二:在插入时指定能否插入重复数据

在这里我们使用的是Insert ignore into 与Insert into指令。

(1)Insert ignore into会忽略数据库中已经存在的数据,如果数据库没有数据,就插入新的数据,如果有数据的话就跳过这条数据。这样就可以保留数据库中已经存在数据,达到在间隙中插入数据的目的。

(2)Insert into则直接相反,会直接插入数据,不管数据库里面是否含有重复数据。

我们还是举例说明:

面试官:在使用mysql数据库时,遇到重复数据怎么处理?

现在我们看出来了吧,也就是说在执行第一条插入操作的时候,看到数据库没有,则直接插入一条新纪录,因此一行记录受到影响,但是在第二次插入的时候,数据库已经有一条一样的了,因此便不会插入了,0行受到影响。 当然了还有一个指令也可以完成类似于insert ignore into相似的功能,那就是replace into。他表示的是如果存在primary 或 unique相同的记录,则先删除掉。再插入新记录。

方法三:过滤重复数据

如果你需要读取不重复的数据可以在 SELECT 语句中使用 DISTINCT 关键字来过滤重复数据。

面试官:在使用mysql数据库时,遇到重复数据怎么处理?

你也可以使用 GROUP BY 来读取数据表中不重复的数据:

面试官:在使用mysql数据库时,遇到重复数据怎么处理?

方法四:删除重复数据

这种情况其实就相当于,在水的终点处去解决。看下面sql语句:

面试官:在使用mysql数据库时,遇到重复数据怎么处理?

当然你也可以在数据表中添加 INDEX(索引) 和 PRIMAY KEY(主键)这种简单的方法来删除表中的重复记录。方法如下:

面试官:在使用mysql数据库时,遇到重复数据怎么处理?

OK,解决办法这么多,相信能解决你的问题。

【编辑推荐】

  1. 记一个 MySQL设计不合理地方:应用程序错误密码不断重连校验机制QL
  2. 值得推荐的四款优秀图形数据库
  3. 后端程序员必备:MySQL数据库相关流程图/原理图
  4. 8月数据库排行:Oracle 节节攀升,PG 和 MongoDB 分数再现下跌
  5. Hive SQL常用命令总结,大数据开发人员按需收藏
【责任编辑:华轩 TEL:(010)68476606】

点赞 0
分享:
大家都在看
猜你喜欢

订阅专栏+更多

16招轻松掌握PPT技巧

16招轻松掌握PPT技巧

GET职场加薪技能
共16章 | 晒书包

347人订阅学习

20个局域网建设改造案例

20个局域网建设改造案例

网络搭建技巧
共20章 | 捷哥CCIE

714人订阅学习

WOT2019全球人工智能技术峰会

WOT2019全球人工智能技术峰会

通用技术、应用领域、企业赋能三大章节,13大技术专场,60+国内外一线人工智能精英大咖站台,分享人工智能的平台工具、算法模型、语音视觉等技术主题,助力人工智能落地。
共50章 | WOT峰会

0人订阅学习

读 书 +更多

信息安全风险评估

信息安全风险评估理论研究日趋成熟,相关资料比较充分,但有关评估实际工作的参考资料很少。本书以信息安全风险评估实践为基础,围绕评估工...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊

51CTO服务号

51CTO播客