用Python制作一个web scraper来跟踪Amazon的价格下降

几天前，我不得不从亚马逊上为我的电脑买硬盘。它的价格比我能承受的要高得多，所以我决定等到打折时再买，这样我就能以较低的价格买到它。但在日常生活中，我太忙了，甚至销售来来去去，但我无法得到通知，特别是关于我愿意购买的产品。那天我决定做一个小型的网络废品项目，这样当价格低于我的预期价格时，我就可以在我的收件箱中收到通知。

想在Python上构建项目?：

Python工具包将提供给您，您可以使用教程学习和构建。你今天就可以免费开始了!

1.使用树莓派的物联网

6.2计世界杯2022赛程表比分算机视觉项目(综合课程)

7.使用机器学习进行欺诈检测

8.世界杯2022赛程表比分计算机视觉(职业发展】纬?

9.使用Python的机器学习

10.使用ML进行电影推荐

11.3计世界杯2022赛程表比分算机视觉项目(综合课程)

12.世界杯2022赛程表比分计算机视觉-文本扫描仪

13.世界杯2022赛程表比分基于计算机视觉的鼠标

14.覆盆子π机器人

15.使用ML进行手写数字识别

16.世界杯2022赛程表比分基于计算机视觉的智能自拍

这就是我项目想法的起源，所以不要浪费太多时间，让我们开始吧。

项目描述

该项目的想法非常直接:输入您想购买的产品的URL。删除该产品网页的HTML，提取有用的数据，如产品名称、价格、库存等。如果产品价格低于我们的预期价格，它应该发送邮件通知价格已经下降，现在你可以购买。

为了使这一有益的任务成为可能，我们使用了Python，因为它具有执行这一任务所需的所有库。

本项目中使用的Python模块:

请求: request是一个模块，允许您发送HTTP请求，而无需手动添加一个查询字符串到您的URL。它非常容易使用。Request有一个特殊的方法叫做Request。Get (url_of_your_choice)，返回响应对象。如。r = request.get(" https://www.amazon.in/dp/B00UJCZ9K0 "，headers = headers)，其中头文件可以通过简单地在谷歌中搜索“我的用户代理”来获得。

我们使用response.txt使存储在response对象中的内容具有可读性。我们从这个对象中得到了我们需要的所有信息。

bs 4: bs4代表Beautiful Soup version 4。它是一个可以很容易地从网页上删除信息的库。它在HTML和XML解析中很流行，为迭代、搜索和修改解析树提供了一种python方法。通过使用bs4，我们将使用find()方法找到关于产品的确切信息。

smtplibsmtplib是一个模块，它定义了一个SMTP客户端会话对象，可以将电子邮件发送到任何带有SMTP或ESMTP侦听器的机器。我们将使用smtplib发送关于价格变化的邮件通知用户。

Python的最新项目

想要开发Python的实用技能?检查我们最新的项目，并开始免费学习

开始免费

项目实施

通过安装和导入上述库来启动项目:request、bs4、smtplib。

按照以下步骤完成该项目。

创建一个名为url的变量，并将您想要检查的url分配给它。
将get方法返回的响应存储在对象r中。它包含了我们需要的所有必要数据。
将这个r对象传递给Beautiful Soup，并将Beautiful Soup生成的解析树存储在Soup对象中。
该产品的价格在编号下注明priceblock_ourprice在网页的HTML中。我们用它来提取产品的价格。使用soup.find(). gettext()方法提取价格。但这个价格是字符串格式的，要转换为float类型，只需将它转换为float。
现在确定产品的目标价格，当价格低于你的设计价格时，它应该发出电子邮件。
让我们来看看如何发送电子邮件。使用smtp.gmail.com和端口号587在gmail和我们的机器之间创建一个连接。使用登录方法并使用发件人凭据登录。通过在sendemail()方法中指定发件人和接收者，发送带有酷的主题和正文的电子邮件。
现在如果产品价格低于我们的设计价值，它会通过电子邮件通知我们。
你可以在云上运行这样的web scraper，以持续监控亚马逊产品(或任何其他电子商务网站也)的数据。

软件要求:文本编辑器和Python3。

编程语言和模块: Python, request-module, bs4- module, smtplib。