Uncovering CloudFlare

从零开始学习 AWS 黑客技术，成为专家 htARTE（HackTricks AWS 红队专家）！

支持 HackTricks 的其他方式：

• 如果您想看到您的公司在 HackTricks 中做广告或下载 PDF 版的 HackTricks，请查看订阅计划!

• 获取官方 PEASS & HackTricks 商品

• 探索PEASS 家族，我们的独家NFTs系列

• 加入 💬 Discord 群组 或 电报群组 或在 Twitter 🐦 @carlospolopm 上关注我们。

• 通过向 HackTricks 和 HackTricks Cloud github 仓库提交 PR 来分享您的黑客技巧。

揭示 Cloudflare 的常见技术

• 您可以使用一些服务来获取域的历史 DNS 记录。也许网页是在以前使用过的 IP 地址上运行的。

• 同样可以通过检查历史 SSL 证书来实现，这些证书可能指向原始 IP 地址。

• 还要检查指向 IP 地址的其他子域的 DNS 记录，因为可能其他子域指向同一服务器（也许是为了提供 FTP、邮件或任何其他服务）。

• 如果在 Web 应用程序中发现SSRF，则可以滥用它以获取服务器的 IP 地址。

• 在浏览器中搜索网页的唯一字符串，例如 shodan（也许还有 Google 和类似的搜索引擎）。也许您可以找到包含该内容的 IP 地址。

• 类似地，您可以使用工具搜索网站的 favicon 图标：https://github.com/karma9874/CloudFlare-IP 或 https://github.com/pielco11/fav-up

• 这种方法不太频繁地起作用，因为服务器在通过 IP 地址访问时必须发送相同的响应，但您永远不知道。

揭示 Cloudflare 的工具

• 在 http://www.crimeflare.org:82/cfs.html 或 https://crimeflare.herokuapp.com 中搜索域。或使用工具 CloudPeler（使用该 API）

• 在 https://leaked.site/index.php?resolver/cloudflare.0/ 中搜索域

• CloudFlair 是一个工具，将使用包含域名的 Censys 证书进行搜索，然后在这些证书中搜索 IPv4，并最终尝试在这些 IP 地址上访问网页。

• CloakQuest3r：CloakQuest3r 是一个强大的 Python 工具，精心设计用于揭示由 Cloudflare 和其他替代方案保护的网站的真实 IP 地址，这是一个广泛采用的 Web 安全和性能增强服务。其核心任务是准确识别隐藏在 Cloudflare 保护屏障后面的 Web 服务器的实际 IP 地址。

• Censys

• Shodan

• Bypass-firewalls-by-DNS-history

• 如果您有一组可能包含网页的 IP 地址，您可以使用 https://github.com/hakluke/hakoriginfinder。

# You can check if the tool is working with
prips 1.0.0.0/30 | hakoriginfinder -h one.one.one.one

# If you know the company is using AWS you could use the previous tool to search the
## web page inside the EC2 IPs
DOMAIN=something.com
WIDE_REGION=us
for ir in `curl https://ip-ranges.amazonaws.com/ip-ranges.json | jq -r '.prefixes[] | select(.service=="EC2") | select(.region|test("^us")) | .ip_prefix'`; do
echo "Checking $ir"
prips $ir | hakoriginfinder -h "$DOMAIN"
done

从云基础设施中揭示 Cloudflare

请注意，即使这是针对 AWS 机器执行的，也可以针对任何其他云提供商执行。

有关此过程的更好描述，请查看：

Cloudflare bypass | Trickesttrickest.com

# Find open ports
sudo masscan --max-rate 10000 -p80,443 $(curl -s https://ip-ranges.amazonaws.com/ip-ranges.json | jq -r '.prefixes[] | select(.service=="EC2") | .ip_prefix' | tr '\n' ' ') | grep "open"  > all_open.txt
# Format results
cat all_open.txt | sed 's,.*port \(.*\)/tcp on \(.*\),\2:\1,' | tr -d " " > all_open_formated.txt
# Search actual web pages
httpx -silent -threads 200 -l all_open_formated.txt -random-agent -follow-redirects -json -no-color -o webs.json
# Format web results and remove eternal redirects
cat webs.json | jq -r "select((.failed==false) and (.chain_status_codes | length) < 9) | .url" | sort -u > aws_webs.json

# Search via Host header
httpx -json -no-color -list aws_webs.json -header Host: cloudflare.malwareworld.com -threads 250 -random-agent -follow-redirects -o web_checks.json

通过 Cloudflare 绕过 Cloudflare

验证的源拉取

这种机制依赖于客户端 SSL 证书来验证Cloudflare 的反向代理服务器和源服务器之间的连接，这被称为mTLS。

客户可以简单地使用 Cloudflare 的证书，而不是配置自己的证书，允许任何来自 Cloudflare 的连接，无论租户如何。

因此，攻击者可以简单地在 Cloudflare 中设置一个域名，使用 Cloudflare 的证书并将其指向受害者**域名的 IP 地址。这样，设置他的域名完全不受保护，Cloudflare 将不会保护发送的请求。

更多信息在这里。

允许 Cloudflare IP 地址列表

这将拒绝不是来自 Cloudflare IP 地址范围的连接。这也容易受到先前设置的攻击者只需在 Cloudflare 中指向自己的域名到受害者的 IP地址并对其进行攻击。

更多信息在这里。

绕过 Cloudflare 进行抓取

缓存

有时您只想绕过 Cloudflare 来抓取网页。有一些选项：

• 使用 Google 缓存：https://webcache.googleusercontent.com/search?q=cache:https://www.petsathome.com/shop/en/pets/dog

• 使用其他缓存服务，如https://archive.org/web/

工具

一些工具，如以下工具，可以绕过（或曾经能够绕过）Cloudflare 对抓取的保护：

• https://github.com/sarperavci/CloudflareBypassForScraping

Cloudflare 解决方案

已开发了许多 Cloudflare 解决方案：

• FlareSolverr

• cloudscraper 这里有指南

• cloudflare-scrape

• CloudflareSolverRe

• Cloudflare-IUAM-Solver

• cloudflare-bypass [已存档]

• CloudflareSolverRe

加固的无头浏览器

使用一个不被识别为自动化浏览器的无头浏览器（您可能需要为此进行定制）。一些选项包括：

• Puppeteer： puppeteer的隐身插件。

• Playwright： 隐身插件即将推出 Playwright。请关注这里和这里的最新动态。

• Selenium： undetected-chromedriver 一个优化的 Selenium Chromedriver 补丁。

带有内置 Cloudflare 绕过功能的智能代理

智能代理由专业公司持续更新，旨在规避 Cloudflare 的安全措施（因为这是他们的业务）。

其中一些是：

• ScraperAPI

• Scrapingbee

• Oxylabs

• Smartproxy 以其专有的 Cloudflare 绕过机制而闻名。

对于寻求优化解决方案的人，ScrapeOps 代理聚合器脱颖而出。该服务将超过 20 个代理提供商集成到单个 API 中，自动选择最佳和最具成本效益的代理，从而为您的目标域提供了一个更优越的选项，以应对 Cloudflare 的防御措施。

反向工程 Cloudflare 反机器人保护

反向工程 Cloudflare 的反机器人措施是智能代理提供商使用的一种策略，适用于大规模网页抓取，而无需运行许多无头浏览器的高成本。

优势： 该方法允许创建一个极其高效的绕过方式，专门针对 Cloudflare 的检查，非常适合大规模操作。

劣势： 缺点在于理解和欺骗 Cloudflare 故意模糊的反机器人系统所涉及的复杂性，需要不断努力测试不同策略并更新绕过方式，因为 Cloudflare 不断加强其保护措施。

在原始文章中找到更多关于如何执行此操作的信息。

参考资料

• https://scrapeops.io/web-scraping-playbook/how-to-bypass-cloudflare/

从零开始学习 AWS 黑客技术，成为 htARTE（HackTricks AWS 红队专家）！

支持 HackTricks 的其他方式：

• 如果您想在 HackTricks 中看到您的公司广告或下载 PDF 版本的 HackTricks，请查看订阅计划！

• 获取官方 PEASS & HackTricks 商品

• 探索PEASS 家族，我们的独家NFT收藏品

• 加入 💬 Discord 群 或 电报群 或在 Twitter 🐦 @carlospolopm** 上关注我们**。

• 通过向 HackTricks 和 HackTricks Cloud github 仓库提交 PR 来分享您的黑客技巧。