产品下载

PulsarRPA

PulsarRPA 是一款高性能、分布式、开源的机器人流程自动化(RPA)框架,专为轻松应对大规模 RPA 任务而设计,为浏览器自动化、网络内容理解和数据提取提供了全面解决方案。 PulsarRPA 结合了高性能分布式 RPA 的优势,旨在解决在快速演变且日益复杂的网站环境中进行浏览器自动化以及抽取准确、全面网络数据所固有的挑战。

PulsarRPAPro

PulsarRPAPro 包含升级的服务器、一组顶级电商网站抓取示例,以及由高级 AI 支持的自动提取小程序。

再也不用编写网页抓取器。PulsarRPAPro 从网站中学习,并大规模地完全准确地交付网页数据。

目前已经为最受欢迎的网站提供了数十个链接:抓取案例,我们不断添加更多案例。

Exotic-Amazon

Exotic Amazon 是采集整个 amazon.com 网站的完整解决方案,开箱即用,包含亚马逊大多数数据类型,它将永久免费提供并开放源代码。

其他电商平台数据采集,其方法和流程基本类似,可以在该项目基础上修改调整业务逻辑即可,其基础设施解决了所有大规模数据采集面临的难题。

得益于 PulsarRPA (中文) 提供的完善的 Web 数据管理基础设施,整个解决方案由不超过 3500 行的 kotlin 代码和不到 700 行的 X-SQL 组成,以提取 650 多个字段。

Exotic-Amazon-Ultimate

Exotic Amazon Ultimate 是采集整个 amazon.com 网站的商业解决方案,包含亚马逊大多数数据类型。

其他电商平台数据采集,其方法和流程基本类似,可以在该项目基础上修改调整业务逻辑即可,其基础设施解决了所有大规模数据采集面临的难题。

提供了极致性能,提供严格的数据质量保证,保证了总体拥有成本。

相关文档

PulsarAgents - 浏览器智能体军团,网页自动采集提取聚类标注训练预测

数据挖掘(Data Mining)的一个重要方向是网页内容挖掘(Web Content Mining)。如何自动将网页转变为结构化数据,几十年来一直是热门研究方向。最新的论文包括 WebFormer,使用 Transformer 做网页数据提取。

Platon.AI 开发了一系列技术来解决任意规模网站自动采集,自动提取,自动聚类,自动标注,自动训练,自动预测的问题。在网页内容挖掘过程中,我们使用大语言模型替代人工,对数据进行自动标注。

PulsarRPA 系列课程 1 - 简介和目录

PulsarRPA 是一款高性能、分布式、开源的机器人流程自动化(RPA)框架,专为轻松应对大规模 RPA 任务而设计,为浏览器自动化、网络内容理解和数据提取提供了全面解决方案。

作为面向大规模网络数据抽取领域的顶级开源解决方案,PulsarRPA 结合了高性能分布式 RPA 的优势,旨在解决在快速演变且日益复杂的网站环境中进行浏览器自动化以及抽取准确、全面网络数据所固有的挑战。

本课程将从最基本的 API 出发,逐步介绍高级特性,从而解决最棘手的重要问题。

下一代网络爬虫:爬虫级 AI agents

下一代网络爬虫是爬虫级 AI agents。

由于现代网页的复杂性,现代爬虫都倾向于使用高性能分布式 RPA,完全和真人一样访问网页,采集数据。由于 AI 的成熟,RPA 工具也在升级为 AI agents。因此,网页爬虫的发展趋势是爬虫级 AI 智能体(AI agents),或者我喜欢称为数字超人。

亚马逊全球20大站点大规模数据采集的经验小结

电商数据采集非常困难!步步维艰!电商数据采集产品必需回答以下几个问题:

采集性能怎么样?单台机器每天完整精确采集一千万数据项,如何不遗漏商品详情页上的每一个数据?

数据质量保证体系是什么,如何保证字段级别数据质量?

每天采集 100 万网页,10 亿数据项,能不能立即部署,部署成本多少?

采集亚马逊全球20个站点,能不能立即部署?

Exotic Amazon (国内镜像)是采集电商网站的完整解决方案,开箱即用,满足最高标准的数据质量要求、最高标准的采集性能要求、最高标准的综合成本要求,默认包含亚马逊大多数数据类型,它将永久免费提供并开放源代码。

现代网页数据提取方法

现代网页源代码变化非常频繁,但是一个网站的网页“看上去”不会变太多,从而保证一致的用户体验。这时候,从视觉特征去审视网页元素就特别有效。

为了更好地从视觉特征和数字特征来看待网页,PulsarR 扩展了 CSS,从而可以从视觉特征和数字特征角度解决最复杂的现实问题。

选择网络爬虫和数据采集工具的一些建议

网络爬虫在各种语言中都有实现,譬如 Java, Kotlin, Javascript, Python, Go, C++ 等。

随着网站变得越来越复杂,页面变动越来越频繁,越来越多的网站由 Vue,React 等技术动态生成,建议网络爬虫直接从浏览器自动化工具开始。

网页理解

零干预将网站还原为数据

给定入口链接,柏拉图 AI 识别、浏览并解读最重要的链出页,输出全部字段:

      select * from harvest('https://www.amazon.com/b?node=3117954011');
     

AI 已浏览120个网页,已理解8组数据共142个字段。 以下显示第2组数据,该组数据共包含10个字段,对应网页区域 #centerCol

  URL Title By Brand Stars Ratings Bar QAs Fees Other Sellers Price
1 Amazon.com: BLACK+DECKER 6 quart 11-in-1 Cooking Pot, Stainless Steel, Pressure Cooker, Slow Cooker, Multi-Cooker, PR100 BLACK+DECKER 6 quart 11-in-1 Cooking Pot, Stainless Steel, Pressure Cooker, Slow Cooker, Multi-Cooker, PR100 by BLACK+DECKER 4.2 out of 5 stars 129 ratings | 89 answered questions + No Import Fees Deposit & ¥40.72 Shipping to Hong Kong New (5) from ¥54.17
2 Amazon.com: BLACK+DECKER 6 quart 11-in-1 Cooking Pot, Stainless Steel, Pressure Cooker, Slow Cooker, Multi-Cooker, PR100 BLACK+DECKER 6 quart 11-in-1 Cooking Pot, Stainless Steel, Pressure Cooker, Slow Cooker, Multi-Cooker, PR100 by BLACK+DECKER 4.2 out of 5 stars 129 ratings | 89 answered questions + No Import Fees Deposit & ¥40.72 Shipping to Hong Kong New (5) from ¥54.17
3 Amazon.com: Crock Pot 6 Quart 8 in 1 Multi Use Express Crock Programmable Pressure Cooker, Slow Cooker, Sauté & Steamer | Stainless Steel (SCCPPC60... Crock Pot 6 Quart 8 in 1 Multi Use Express Crock Programmable Pressure Cooker, Slow Cooker, Sauté & Steamer | Stainless Steel (SCCPPC600 V1) by Crockpot 4.2 out of 5 stars 2,086 ratings | 670 answered questions There is a newer model of this item: New (31) from ¥74.79
4 Amazon.com: Crockpot Thermoshield 6 Quart Manual Slow Cooker, Black Crockpot Thermoshield 6 Quart Manual Slow Cooker, Black by Crockpot 4.1 out of 5 stars 150 ratings | 47 answered questions + No Import Fees Deposit & ¥47.40 Shipping to Hong Kong New & Used (12) from ¥59.99
5 Amazon.com: GoWISE USA GW22637 4th-Generation Electric Pressure Cooker with rice scooper, and measuring cup, 14 QT GoWISE USA GW22637 4th-Generation Electric Pressure Cooker with rice scooper, and measuring cup, 14 QT by GoWISE USA 3.9 out of 5 stars 927 ratings | 498 answered questions + No Import Fees Deposit & ¥70.96 Shipping to Hong Kong New & Used (4) from ¥113.18
6 Amazon.com: GoWISE USA GW22637 4th-Generation Electric Pressure Cooker with rice scooper, and measuring cup, 14 QT GoWISE USA GW22637 4th-Generation Electric Pressure Cooker with rice scooper, and measuring cup, 14 QT by GoWISE USA 3.9 out of 5 stars 927 ratings | 498 answered questions + No Import Fees Deposit & ¥70.96 Shipping to Hong Kong New & Used (4) from ¥113.18
7 Amazon.com: GoWISE USA GW22637 4th-Generation Electric Pressure Cooker with rice scooper, and measuring cup, 14 QT GoWISE USA GW22637 4th-Generation Electric Pressure Cooker with rice scooper, and measuring cup, 14 QT by GoWISE USA 3.9 out of 5 stars 927 ratings | 498 answered questions + No Import Fees Deposit & ¥70.96 Shipping to Hong Kong New & Used (4) from ¥113.18
8 Amazon.com: Gourmia GPC400 4 Qt Digital Multi-Mode SmartPot Pressure Cooker - 13 Cook Modes - Removable Pot - 24-Hour Delay Timer - Automatic Keep ... Gourmia GPC400 4 Qt Digital Multi-Mode SmartPot Pressure Cooker - 13 Cook Modes - Removable Pot - 24-Hour Delay Timer - Automatic Keep Warm - LCD Display - Pressure Sensor Lid Lock - Recipe Book by Gourmia 4.2 out of 5 stars 363 ratings | 171 answered questions + No Import Fees Deposit & ¥31.80 Shipping to Hong Kong    
9 Amazon.com: Mealthy MultiPot 9-in-1 Programmable Pressure Cooker 6 Quarts with Stainless Steel Pot, Steamer Basket, instant access to recipe app. P... Mealthy MultiPot 9-in-1 Programmable Pressure Cooker 6 Quarts with Stainless Steel Pot, Steamer Basket, instant access to recipe app. Pressure cook, slow cook, sauté, rice cooker, yogurt, steam by Mealthy 4.7 out of 5 stars 1,593 ratings | 934 answered questions   New & Used (3) from ¥169.99
10 Amazon.com: Ninja Instant, 1000-Watt Pressure, Slow, Multi Cooker, and Steamer with 6-Quart Ceramic Coated Pot & Steam Rack (PC101), Si, Black/Silver Ninja Instant, 1000-Watt Pressure, Slow, Multi Cooker, and Steamer with 6-Quart Ceramic Coated Pot & Steam Rack (PC101), Si, Black/Silver by Ninja 4.7 out of 5 stars 120 ratings | 65 answered questions This product is available as Renewed. New & Used (11) from ¥54.95
11 Amazon.com: Power Pressure Cooker XL 10 Qt Power Pressure Cooker XL 10 Qt by Power Pressure Cooker XL 4.1 out of 5 stars 2,977 ratings | 1000+ answered questions + No Import Fees Deposit & ¥51.68 Shipping to Hong Kong New & Used (6) from ¥159.00
12 Amazon.com: Presto 02141 6-Quart Electric Pressure Cooker, Stainless, Black, Silver Presto 02141 6-Quart Electric Pressure Cooker, Stainless, Black, Silver by Presto 4.2 out of 5 stars 54 ratings | 17 answered questions + No Import Fees Deposit & ¥38.45 Shipping to Hong Kong New & Used (33) from ¥59.99
执行 AI 自动挖掘 执行 AI 辅助挖掘