范某帅的博客
0%

发表于 分类于 阅读次数： Valine：
本文字数： 3.1k 阅读时长 ≈ 3 分钟

前言

有些场景下需要给自己的微信推送数据，达到通知的效果。这里的实现有很多，比如server酱等相关第三方平台，但是会随着腾讯的相关协议波动，并且有时候简短的消息需要跳转相关网页查看详情，有些许的不便，于是今天带来一种解决的办法，也就是替代品。结合服务器能做到不错的效果，也可以与合作的同学实现数据共享。

阅读全文 »

发表于 分类于 阅读次数： Valine：
本文字数： 3.9k 阅读时长 ≈ 4 分钟

前言

之前已经有过一篇爬取成绩的实现blog，是基于学校官网的入口，再进入到教务系统进行查询，中途需要保持session。

现在发现了一个新的入口：

阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 18k 阅读时长 ≈ 17 分钟

前言

为了实现微信、支付宝等刷步数的功能，借用了小米运动的第三方接口，使用python模拟登录，再去伪造步数数据。

在小米运动中开启多端同步，数据上传后即会产生对应的同步

代码编写

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
import requests
import random
import re
import time

# 机型伪装
headers = {
    'User-Agent': 'Dalvik/2.1.0 (Linux; U; Android 9; MI 6 MIUI/20.6.18)'
}


# 登录模块
def login(user, pwd):
    # 获取登录code
    global code
    url1 = "https://api-user.huami.com/registrations/+86" + user + "/tokens"
    # 登录专用的请求头
    headers_login = {
        "Content-Type": "application/x-www-form-urlencoded;charset=UTF-8",
        "User-Agent": "MiFit/4.6.0 (iPhone; iOS 14.0.1; Scale/2.00)"
    }
    # post请求的相关数据
    data1 = {
        "client_id": "HuaMi",
        "password": pwd,
        "redirect_uri": "https://s3-us-west-2.amazonaws.com/hm-registration/successsignin.html",
        "token": "access"
    }
阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 2.1k 阅读时长 ≈ 2 分钟

前言

使用抖音的分享链接对其进行无水印的下载

对分享链接的网页进行分析，找到跳转的地址，在地址中找到url，请求对应的地址。

对得到的json文件进行分析，找到对应key下的数据下载链接，将其中的关键字替换，playwm替换成play即是完整的下载链接。

代码

下面附上完整代码：

阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 2.5k 阅读时长 ≈ 2 分钟
使用python对笔趣网小说进行逐页爬取。

前言

这个网站的下载链接奇慢无比，闲来无事，使用python对其进行循环爬取。

以下是本篇文章正文内容，下面案例可供参考

一、页面分析


很显然，这是书籍的详情页，我们在这个页面只需要两种数据，一个就是我们的书籍名称，还有就是对应章节的详情链接，只有获取了章节的详情链接我们才可以进行文字的爬取。

阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 2.4k 阅读时长 ≈ 2 分钟

常州大学官网-教务成绩信息爬取

遇到的问题

  • cookie问题 由requests下的session解决
  • lxml下的etree负责解析网页数据
  • 封装账号信息post模拟登录
  • 在页面中的隐含域下获取请求的参数值，如lt，execution
阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 5.4k 阅读时长 ≈ 5 分钟
使用python对链家新房相关数据进行爬取，并进行持久化存储。

多练习 熟能生巧

前言

以下是本篇文章正文内容，下面案例可供参考

一、页面分析

老样子进行页面分析，ul下的li中存放着我们想要的信息，没什么好讲的。

阅读全文 »

发表于 更新于 分类于 阅读次数： Valine：
本文字数： 5.8k 阅读时长 ≈ 5 分钟
上次的b站爬取需要手动输入日期等信息，这次直接在程序内根据时间差进行爬取，直接放上完整代码。

代码

上次的分析链接在此：b站弹幕爬取分析
直接附上完整代码：

阅读全文 »