Python正则表达式指南-详细版

王 茂南
王 茂南
王 茂南
3042
文章
75
评论
2020年2月27日07:31:23
评论 13482字阅读44分56秒
摘要完整详细的来写一下Python正则表达式的相关内容. 这里不仅会包括基础的Python的正则表达式的内容, 还会包括正则表达式与pandas结合使用的相关内容. 会根据一个例子来进行Python正则表达式的学习.

简介

这一篇会详细介绍关于Python的正则表达式的相关内容. 我们之前有一篇介绍了一些关于正则表达式的相关内容, Python正则表达式指南, 但是那个比较简单.

因为这次找到了一个比较好的教程, 所以准备完整详细的来写一下Python正则表达式的相关内容. 这里不仅会包括基础的Python的正则表达式的内容, 还会包括正则表达式与pandas结合使用的相关内容.

我写的顺序可能会和教程的顺序有所不同, 我会按照我习惯的顺序进行书写. 这个教程可能更像是一步一步在教, 慢慢引出所有的概念, 但是我在写的时候就会把一些相同的东西整理到一起去.

先说说正则表达式的优点: 正则表达式在处理文本信息的时候还是一个很常用的工具的.

参考资料: Tutorial: Python Regex (Regular Expressions) for Data Scientists

 

Python正则表达式指南

正则表达式可以做什么

Regular expressions (regex) are essentially text patterns that you can use to automate searching through and replacing elements within strings of text. This can make cleaning and working with text-based data sets much easier, saving you the trouble of having to search through mountains of text by hand.

 

数据准备与导入库

我们测试的时候会使用钓鱼邮件来进行测试. 数据集链接为Fraudulent E-mail Corpus. 但我们可能不会使用完整的数据集, 我们会使用部分数据集, 部分数据集链接为: test_emails.txt

我们导入我们需要的数据集, 我们在文件路径前使用了r, 这是将string转换为raw string, 这是防止计算机读取字符串时可能引起的冲突, 例如路径中的反斜杠:

  1. fh = open(r"/content/drive/My Drive/Machine Learning/dataset/test_email.txt", "r").read()

最后导入我们这次会使用到的python库.

  1. import re
  2. import numpy as np
  3. import pandas as pd

 

一些常见的pattern

  • w matches alphanumeric characters, which means a-z, A-Z, and 0-9. It also matches the underscore, _, and the dash, -.
  • d matches digits, which means 0-9.
  • s matches whitespace characters (常见空白字符), which include the tab, new line, carriage return, and space characters.
  • S matches non-whitespace characters (非空白字符).
  • . matches any character except the new line character n (匹配除了换行之后的所有内容).
  • ---------特殊符号------------
  • * matches zero or more instances of a pattern on its left. This means it looks for repeating patterns. When we look for repeating patterns, we say that our search is "greedy." (当我们使用repeating pattern的时候, 我们称我们的搜索是贪婪模式)
  • + matches 1 or more instances of a pattern on its left. (注意这里+和*的区别, +是需要匹配至少一个的)
  • 反斜杠, The backslash is a special character used for escaping other special characters. (这个反斜杠是转义符. 例如"?"可能在正则表达是中有其他的含义, 但是如果我们就是要匹配?, 我们就需要在前面加上反斜杠)
  • ----------括号的使用-----------
  • [ ] match any character placed inside them. For instance, if we want to find "a", "b", or "c" in a string, we can use [abc] as the pattern. The patterns we discussed above apply as well. [\w\s] would find either alphanumeric or whitespace characters. (下面有个例子详细解释一下中括号的作用)

更加详细的常见pattern的表格可以在Python正则表达式指南中找到.

 

这里详细说一下中括号的问题, 我们举一个例子来进行说明. 有了中括号之后, 写起来可以更加简洁.

  1. strtest = "Statuss:0 Status:1 This is a test."
  2. result = re.findall("Status:\s*\w*[\s\S]*", strtest)
  3. result
Python正则表达式指南-详细版

上面相同的例子, 如果不写中括号, 那么匹配的结果就是下面这个样子的.

  1. strtest = "Statuss:0 Status:1 This is a test."
  2. result = re.findall("Status:\s*\w*\s*\S*", strtest)
  3. result

匹配结果是无法匹配完全的, 匹配结果如下所示.

Python正则表达式指南-详细版

那么我们要是想不用中括号, 达成一样的效果, 应该写成下面这个样子.

  1. strtest = "Statuss:0 Status:1 This is a test."
  2. result = re.findall("Status:\s*\w*\s*\S*\s*\S*\s*\S*\s*\S*", strtest)
  3. result
Python正则表达式指南-详细版

所以, 中括号的作用可以理解为反复匹配中括号中出现的pattern, 且里面是没有顺序的.

 

一些常见的re的函数

  • re.findall(), 找出所有与pattern匹配的内容.
  • re.search(), 找出第一个与pattern匹配的内容.
  • re.split(), 将string按照指定的符号进行划分.
  • re.sub(), 将string中的部分进行替换.

我们下面依次来介绍这四个常见的函数.

 

找出发件人--正则表达式之re.findall

首先我们第一个任务是找出邮件的发件人. 我们使用re.findall来完成任务. This function takes two arguments in the form of re.findall(pattern, string). 这个函数接收两个参数, 分别是pattern和string. 也就是要匹配的规则(在这里我们会用到的pattern就是.*), 和要查找的字符串.

比如要找出发件人, 我们会使用下面的方式来进行匹配:

  1. for line in re.findall("From:.*", fh):
  2.     print(line)

其中"."表示任意字符, "*"表示重复无数次. 于是, 我们得到了下面的匹配结果.

Python正则表达式指南-详细版

接下来, 我们希望更进一步. 我们只需要发件人的姓名. 于是我们第一个想法就是先找出包含收件人信息的行, 再从这些行里面找出姓名. 于是我们就可以写成下面这个样子.

  1. match = re.findall("From:.*", fh)
  3. for line in match:
  4.     print(re.findall("\".*\"", line))

于是我们得到了下面的结果, 可以看到成功返回了姓名. 需要注意的是findall返回的是一个list.

Python正则表达式指南-详细版

接着, 我们再更进一步, 我们希望获取发件人的邮箱. 于是我们可以写成下面的这个样子.

  1. match = re.findall("From:.*", fh)
  3. for line in match:
  4.     print(re.findall("\w\S*@.*\w", line))

我们简单对上面的pattern进行解释. 这个pattern可以分成两个部分来看, 分别是"艾特(这里输入符号会出现问题)"前面和"艾特"后面. 因为邮箱一定是有"@"的.

  • 在"艾特"前面, 我们使用\w\S*, 一般邮箱是字母组成, 但有时会有下划线, 所以需要使用\W
  • 在"艾特"后面, 我们使用.*\w, 后面也是可能包含所有的可能性, 且最后结尾一定是字母或数字, 所以我们用\w结尾.

 

正则表达式之re.search

首先我们看一下findall和search之间的区别. 简单来说就是findall会找出所有符合pattern的string并返回为一个list; search只会找出第一个符合要求的string, 并返回为match object.

While re.findall() matches all instances of a pattern in a string and returns them in a list, re.search() matches the first instance of a pattern in a string, and returns it as a re match object.

和findall一样, search也是接受两个参数, 分别是pattern和string. 我们还是使用上面的邮件的例子来进行说明. 我们找出文本中的第一个发件人的信息.

  1. match = re.search("From:.*", fh)
  3. print(match)
  4. print(match.group())
Python正则表达式指南-详细版

可以看到的是, re.search返回的是match object, 并不是string, 里面还包含一些其他的信息. 我们需要使用group将其转换为string, 如上面例子所示. (As we can see, group() converts the match object into a string.)

 

正则表达式之re.split

现在我们的任务是找出邮箱的用户名和注册的网站. 例如bensul2004nng@spinfinder.com, 我们就是要分别打印出bensul2004nng和spinfinder.com. 这里我们就需要使用到re.split这个函数了. 我们直接来看下面的例子.

  1. match = re.findall("From:.*", fh)
  3. for line in match:
  4.     for item in re.findall("\w\S*@.*\w",line): # 找出邮箱
  5.         print(re.split("@", item))
Python正则表达式指南-详细版

 

正则表达式之re.sub

前面讲到的三个都是执行的查找的功能, 这里要介绍的re.sub是来进行替换工作的. 正如他的名字所说的, 就是substitutes.

re.sub接受三个参数, 分别是:

  • The first is the substring to substitute, 要替换掉的内容
  • The second is a string we want in its place, 我们想要替换的内容
  • The third is the main string itself, 要替换的string

我们下面看一个例子, 就是将string中的From替换为Email.

  1. sender = re.search("From:.\".*\"", fh)
  2. address = sender.group()
  3. email = re.sub("From", "Email", address)
  4. print(address)
  5. print(email)
Python正则表达式指南-详细版

 

Python正则表达式案例分析

上面我们讲了最基本的python的正则表达式的相关内容. 在实际处理数据的时候, 我们更多的时候会使用pandas, 所以这一部分我们会来说明一下如何在pandas中来使用正则表达式来完成我们的需求.

在这一部分, 我们的最终任务是将邮件按下面的几个部分进行排序整理, 这样可以更加方便我们进行整理.

  • sender_name, 发件人姓名
  • sender_address, 发件人地址
  • recipient_address, 收件人地址
  • recipient_name, 收件人姓名
  • date_sent, 发件时间
  • subject, 邮件的标题
  • email_body, 邮件主体内容

上面的每一个部分我们会存储到pandas中去. 也就是上面的每一部分的内容都会是一行. 列的内容包括发件人姓名, 发件人地址等.

在这里我们会额外用到一个库email, 这个是用来处理邮件的主体的.

  1. import re
  2. import pandas as pd
  3. import email
  5. emails = []
  7. fh = open(r"/content/drive/My Drive/Machine Learning/dataset/test_email.txt", "r").read()

其中上面创建的emails是用来存储的.

 

邮件的分割-re.split

因为现在是一个txt文件中包含多封邮件, 所以我们需要将其进行分割. 通过观察邮件, 我们发现每一封邮件开头都是"From r"这样的形式, 所以我们首先将其进行分割.

  1. contents = re.split("From r", fh)
  2. contents.pop(0) # 去掉第一个, 因为当使用"From r"进行分割的时候, 第一个是空
  3. contents

可以注意的是, 我们使用了pop(0)来去掉第一个, 这是因为在进行分割的时候, 第一个是空. 我们可以这样来简单理解一下:

  • 例如"a+b", 我们按照+来分割就是a和b.
  • 要是"+b"按照+来进行分割就是空和b, 此时就要去掉第一个空.

最终得到下面的结果.

Python正则表达式指南-详细版

 

获得姓名和邮箱地址-re.search与re.sub

再对每一封邮件进行分割之后, 我们接着来获取每一封邮件的姓名和邮箱地址, 这里包括

  • sender_name, 发件人姓名
  • sender_address, 发件人地址
  • recipient_address, 收件人地址
  • recipient_name, 收件人姓名

为了获取上面的这些信息, 我们要分为下面的几个步骤

  • 依次对每一封邮件进行处理
  • 开始找发件人的信息
    • 找出发件人的信息, 注意这里要对可能出现的异常进行处理
    • 从发件人信息中分离出名字和邮箱, 注意进行异常处理
    • 将发件人的名字和邮箱存储到字典中去
  • 开始找收件人的信息(这里的步骤和上面是一样的)

下面我们看一下完整的代码, 其实这一部分要想写的很完善, 还是要考虑周到的, 还是有很多细节要进行书写的.

  1. for item in contents:
  2.     # %%%%%%%%%%%%%%%%%%%%%%%%
  3.     # step 1: 处理每一封邮件
  4.     emails_dict = {}
  6.     # %%%%%%%%%%%%%%%%%%%%%%%%
  7.     # step 2: 找出发件人信息
  8.     sender = re.search("From:.*", item)
  9.     # step 2.1: 对可能出现的异常进行处理(如果没有找到发件人信息, 则设置为None)
  10.     if sender is not None:
  11.         s_email = re.search("\w\S*@.*\w",sender.group())
  12.         s_name = re.search("\".*\"",sender.group())
  13.     else:
  14.         s_email = None
  15.         s_name = None
  16.     # step 2.2: 对发件人姓名和邮件进行检测
  17.     if s_email is not None:
  18.         sender_email = s_email.group()
  19.     else:
  20.         sender_email = None
  21.     if s_name is not None:
  22.         # 对于名字, 我们删除名字两边的双引号
  23.         sender_name = re.sub("\"","",s_name.group())
  24.     else:
  25.         sender_name = None
  26.     # step 2.3: 存储到emails_dict中
  27.     emails_dict['sender_email'] = sender_email
  28.     emails_dict['sender_name'] = sender_name
  30.     # %%%%%%%%%%%%%%%%%%%%%%%%
  31.     # step 3: 找出收件人信息
  32.     recipient = re.search("To:.*", item)
  33.     # step 3.1: 对可能出现的异常进行处理(如果没有找到收件人信息, 则设置为None)
  34.     if recipient is not None:
  35.         r_email = re.search("\w\S*@.*\w",recipient.group())
  36.         r_name = re.search(r"\".*\"",recipient.group())
  37.     else:
  38.         r_email = None
  39.         r_name = None
  40.     # step 3.2: 对发件人姓名和邮件进行检测
  41.     if r_email is not None:
  42.         recipient_email = r_email.group()
  43.     else:
  44.         recipient_email = None
  45.     if r_name is not None:
  46.         # 对于名字, 我们删除名字两边的双引号
  47.         recipient_name = re.sub("\"","",r_name.group())
  48.     else:
  49.         recipient_name = None
  50.     # step 3.3: 存储到emails_dict中
  51.     emails_dict['recipient_email'] = recipient_email
  52.     emails_dict['recipient_name'] = recipient_name
  53.     print(emails_dict)

最终的结果如下所示, 可以看到正确的提取了发件人和收件人的信息:

Python正则表达式指南-详细版

 

获取邮件的发送时间

在获取了收件人和发件人的信息之后, 我们来获得邮件的发送时间. 我们这里写的时候使用第0个contents来进行测试.

整体的步骤还是分为两步:

  • 第一步: 获取date的大致位置
  • 第二步: 提取里面详细的date的信息

首先我们获取date的信息.

  1. re.search("Date:.*", contents[0]).group()
Python正则表达式指南-详细版

接着我们获取详细的date的信息.

  1. re.search("\d+\s\w+\s\d+",
  2.      re.search("Date:.*", contents[0]).group()
  3.     ).group()
Python正则表达式指南-详细版

我们来解释一下上面提取date时候用到的pattern. 我们要提取的日期的格式是DD MMM YYYY的格式.

  • 第一个DD是阿拉伯数字, 可能是一位数, 也可能是两位是, 所以这里使用了\d+, 注意这里使用了+而不是使用*, 这是因为日期一定是包含一位数字的, 同理后面的月份和年份的匹配也是类似的.
  • 接着是一个空格, 所以我们使用了\s
  • 接着是月份, 是三个字母, 所以我们使用了\w+
  • 月份之后又是一个空格, 所以我们还是使用了\s
  • 最后是年份, 是四个数字, 我们这里使用\d+

为了考虑完整, 我们的完整的代码如下所示, 我们需要考虑search出是None的情况.

 

  1. for item in contents:
  2.     # %%%%%%%%%%%%%%%%%%%%%%%%
  3.     # step 1: 处理每一封邮件
  4.     emails_dict = {}
  6.     # %%%%%%%%%%%%%%%%%%%%%%%%
  7.     # step 2: 查找日期大致范围
  8.     date_field = re.search("Date:.*", item)
  10.     # %%%%%%%%%%%%%%%%%%%%%%%%
  11.     # step 3: 得到详细的日期
  12.     if date_field is not None:
  13.         date = re.search("\d+\s\w+\s\d+", date_field.group())
  14.     else:
  15.         date = None
  17.     # %%%%%%%%%%%%%%%%%%%%%%%%
  18.     # step 4: 将日期进行保存
  19.     if date is not None:
  20.         date_sent = date.group()
  21.     else:
  22.         date_sent = None
  23.     emails_dict['date_sent'] = date_sent
  25.     print(emails_dict)

最终可以获取下面的结果:

Python正则表达式指南-详细版

 

获取邮件主题

这里的内容提取和之前的操作详细, 我们首先获得subject的大致内容, 接着进行精细的内容提取.

我们首先进行大致内容的提取, 获得如下的结果.

  1. subject_field = re.search(r"Subject: .*", item)
Python正则表达式指南-详细版

接着我们的任务就是获取上面提取的Subject之后的内容, 我们直接使用替换, 将前面的Subject替换成空即可.

  1. subject = re.sub(r"Subject: ", "", subject_field.group())

所以, 最终完整的代码, 和最终的结果如下图所示.

Python正则表达式指南-详细版

 

获取邮件主体

最后一个步骤就是获取邮件的主题内容. 这一部分我们会直接使用email这个包来完成任务.

我们首先将整个email读入, 存储为email的对象, 这个对象包含header和payload, 分别就是对应邮件的头部和邮件的内容.

  1. for item in contents:
  2.     full_email = email.message_from_string(item) # 读取邮件
  3.     body = full_email.get_payload()
  4.     print(body)

我们大致看一下打印出来的结果, 因为内容有点长, 我们截图就只截取部分.

Python正则表达式指南-详细版

 

获取完整信息

上面我们完成了各个部分的代码, 获取header和获取body的部分. 下面我们只需要将每一个邮件的email_dict存储到email中即可, 也就是下面的代码:

  1. emails.append(emails_dict)

下面是完整的代码(我感觉原教程这里有一些问题, 在计算email的个数的时候, 我在这里进行了修改):

  1. import re
  2. import pandas as pd
  3. import email
  5. emails = []
  7. fh = open(r"/content/drive/My Drive/Machine Learning/dataset/test_email.txt", "r").read()
  9. contents = re.split(r"From r",fh)
  10. contents.pop(0)
  12. for item in contents:
  13.     emails_dict = {}
  15.     sender = re.search(r"From:.*", item)
  17.     if sender is not None:
  18.         s_email = re.search(r"\w\S*@.*\w", sender.group())
  19.         s_name = re.search(r":.*<", sender.group())
  20.     else:
  21.         s_email = None
  22.         s_name = None
  24.     if s_email is not None:
  25.         sender_email = s_email.group()
  26.     else:
  27.         sender_email = None
  29.     emails_dict["sender_email"] = sender_email
  31.     if s_name is not None:
  32.         sender_name = re.sub("\s*<", "", re.sub(":\s*", "", s_name.group()))
  33.     else:
  34.         sender_name = None
  36.     emails_dict["sender_name"] = sender_name
  38.     recipient = re.search(r"To:.*", item)
  40.     if recipient is not None:
  41.         r_email = re.search(r"\w\S*@.*\w", recipient.group())
  42.         r_name = re.search(r":.*<", recipient.group())
  43.     else:
  44.         r_email = None
  45.         r_name = None
  47.     if r_email is not None:
  48.         recipient_email = r_email.group()
  49.     else:
  50.         recipient_email = None
  51.     emails_dict["recipient_email"] = recipient_email
  53.     if r_name is not None:
  54.         recipient_name = re.sub("s*<", "", re.sub(":s*", "", r_name.group()))
  55.     else:
  56.         recipient_name = None
  58.     emails_dict["recipient_name"] = recipient_name
  60.     date_field = re.search(r"Date:.*", item)
  62.     if date_field is not None:
  63.         date = re.search(r"\d+\s\w+\s\d+", date_field.group())
  64.     else:
  65.         date = None
  67.     if date is not None:
  68.         date_sent = date.group()
  69.     else:
  70.         date_sent = None
  72.     emails_dict["date_sent"] = date_sent
  74.     subject_field = re.search(r"Subject: .*", item)
  76.     if subject_field is not None:
  77.         subject = re.sub(r"Subject: ", "", subject_field.group())
  78.     else:
  79.         subject = None
  81.     emails_dict["subject"] = subject
  83.     # "item" substituted with "email content here" so full email not displayed.
  85.     full_email = email.message_from_string(item)
  86.     body = full_email.get_payload()
  87.     emails_dict["email_body"] = "email body here"
  89.     emails.append(emails_dict)
  91. # Print number of dictionaries, and hence, emails, in the list.
  92. print("Number of emails: " + str(len(emails)))
  95. # Print first item in the emails list to see how it looks.
  96. for key, value in emails[0].items():
  97.     print(str(key) + ": " + str(emails[0][key]))

我们需要注意的是, 为了显示的方便, 我们在这里body是直接都存储成了一样的内容. 最终的打印结果如下所示:

Python正则表达式指南-详细版

 

使用Pandas处理数据

经过上面的处理, 我们的数据已经保存为list, list里面是字典类型. 这个对于pandas是容易进行处理的. 我们下面简单看一下操作的流程.

  1. import pandas as pd
  2. # Module imported above, imported again as reminder.
  3. emails_df = pd.DataFrame(emails)
  4. emails_df
Python正则表达式指南-详细版

生成了dataframe数据结构, 我们可以很方便的查找指定的发件人的信息. 比如我们查询发件人邮箱中包含epatra或spinfinder的.

  1. emails_df[emails_df["sender_email"].str.contains("epatra|spinfinder")]

这里的查询结果就是上面两个, 我们就不放截图了.

当然, 上面contains也是可以使用正则表达式的, 比如我们想要找出发件邮箱包含spinfinder的邮件的内容, 也就是body部分.

在原教程中使用了四个步骤, 我感觉不是很复杂, 就在下面一起写完了.

  1. # Step 1: find the index where the "sender_email" column contains "@spinfinder.com".
  2. index = emails_df[emails_df["sender_email"].str.contains(r"\w\S*@spinfinder.com")].index.values
  3. print('index: {0}'.format(index))
  4. # Step 2: use the index to find the value of the cell i the "sender_email" column.
  5. # The result is returned as pandas Series object
  6. address_Series = emails_df.loc[index]["sender_email"]
  7. print("address_Series: {0}".format(address_Series))
  8. # Step 3: extract the email address, which is at index 0 in the Series object.
  9. address_string = address_Series[0]
  10. print("address_string: {0}".format(address_string))
  11. # Step 4: find the value of the "email_body" column where the "sender email" column is address_string.
  12. print(emails_df[emails_df["sender_email"] == address_string]["email_body"].values)
Python正则表达式指南-详细版

但是, 其实当我们知道了index之后, 使用两个步骤也是可以获得相同的结果的.

  1. # Step 1: find the index where the "sender_email" column contains "@spinfinder.com".
  2. index = emails_df[emails_df["sender_email"].str.contains(r"\w\S*@spinfinder.com")].index.values
  3. print('index: {0}'.format(index))
  4. # Step 2: use the index to find the value of the cell i the "email_body" column.
  5. print(emails_df.loc[index,'email_body'].values)
Python正则表达式指南-详细版

到这里就是所有的关于Python的正则表达式的内容了, 这一次的内容应该还是很详细的, 记录在这里方便之后查阅.

  • 微信公众号
  • 关注微信公众号
  • weinxin
  • QQ群
  • 我们的QQ群号
  • weinxin
王 茂南
  • 本文由 发表于 2020年2月27日07:31:23
  • 转载请务必保留本文链接：https://mathpretty.com/11815.html
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: