NotionNext BLOG

被python打包逼疯了

Wed, 22 Mar 2023 00:00:00 GMT

引子

前段时间用python写了一个小工具，来方便一些日常的重复性工作。

使用pyside6，所以拥有了一个图形化的界面。

但是每次使用之前相对来说都比较麻烦，要不就是在编辑器里面运行，或者也要在命令行中输入命令。

所以我想打包成一个可执行的文件，变成一个软件，即点即用。

pyinstaller

这是最多人推荐的一个打包工具，包括我在之前看到的一个pyside的教程上也推荐用这个工具打包。

当我填入参数打包之后，并不能正常的启动程序，原因是缺少一些什么组件。

教程上面说，pyinstaller不能识别一些动态导入的文件，于是我把main.ui 也就是pyside的特性文件直接放进了软件包，但依然不能使用。

后来有陆陆续续折腾了一下，无一例外，都打不开。

py2app

这个好像是专门在mac上进行使用的，我参考了知乎上的一篇文章，讲的很清楚。

用 py2app 将 Python 脚本打包成 Mac OS 下的 APP 程序

我们用 Python 写好了程序以后，立刻就可以享受到自动化带来的便利，一键处理各种数据。但是有时候同事、同学、朋友、女朋友看到你有这么厉害的工具，虽然没有任何编程基础，但是也想要用的时候，该怎么办呢？如…

https://zhuanlan.zhihu.com/p/454550005

前期的准备工作都差不多，只是py2app需要先生成一个setup.py 文件。我们可以在这个文件中进行一定的设置，比如填写自己使用了什么包，或者是app的icon之类的。最后再运行一条命令就可以打包了。

不加-A 就是类似于全量打包的意思，所有的依赖跟库都会全部放在软件包里面，可以直接发给别人使用。如果加上-A 参数的话，那么实际上就类似于一个快捷方式，发给别人使用的话，别人还需要安装相应的环境，只是自己使用方便一点。

py2app让我看到了成功的曙光。虽然说不加-A 参数没法使用，总是缺少什么依赖。但是加上这个参数之后，总算是可以把软件的界面给打开了。

虽然说界面可以顺利的打开，但是里面的按钮却没有任何的响应。我按照提示从终端进行启动，提示缺少相应的库。我估摸着这是pycharm的原因，pycharm安装库的时候跟我在命令行下安装，不是一个地方。我也搞不清楚是为什么，明明我只有一个python版本，可能是因为我没有搞清楚什么叫做解释器。。。不过问题不大，我重新在命令行下把缺少的安装了一遍，总算是把所有的功能都跑起来了。

急转直下

我本来以为到这里已经搞好了，以上的操作都是我在桌面上完成的。因为怕影响本来的代码，所以复制了一份在桌面。

第二天起来等我把桌面的文件删掉之后，那个程序安装包都无法打开了。我意识到，是因为我的打包方式的问题，所以这个源文件不能删除。

于是我重新回到我代码本来的位置，然后重新之前的操作。接下来事态开始非常诡异了，我仍然是可以打开界面，但是第一个功能没办法使用。这个功能跟pd转换成Image图像有关系。我对代码进行了很多的调整，但是最终结果还是，这里一块功能没办法使用，而其他模块完全不受影响。

接着我尝试着试了一下anconda，在虚拟环境下操作。折腾了半天，也是不行，头都大了。我已经彻底心态崩溃。

算了，爱谁谁，我不想搞了

jsonpath取notion数据

Tue, 14 Mar 2023 00:00:00 GMT

run_query_database

最近在做一个小工具，需要对数据库进行查询并且解析notion api返回的数据。

https://notion-database.readthedocs.io/

但是在里面没有找到查询数据库的相关介绍

自己研究了半天，发现有些函数没有被写到文档里

我找到一个比较相关的run_query_database

提示需要输入database_id 以及body

我直接去官网查看了一下

写出了以下代码


D = Database(integrations_token=token)
body = {
  "filter": {
    "property": "喜马拉雅",
    "url": {
      "equals": "https://m.ximalaya.com/album/73808503?from=pc"
    }
  }
}
D.run_query_database(database_id=databes_rhythm_id, body=body)
result_dict = D.result
pprint.pprint(result_dict)

其中body 是参照官网的格式来写的

Start building with the Notion API

Connect Notion pages and databases to the tools you use every day, creating powerful workflows.

https://developers.notion.com/reference/post-database-query-filter

其实url 属性没有出现在列表中，我这个算是死马当活马医，结果顺利跑起来了。

jsonpath

数据跑出来之后会返回一大堆信息

然而我只需要里面的页面id等少数几个信息

我之前都是使用手动的方式定位信息，比如说


result[0]['id'][1]

这实在是太蠢了…

接着看别人推荐了一下jsonpath

我参考了一下文档

JSONPath - XPath for JSON

https://goessner.net/articles/JsonPath/

最重要的就是它的表格以及它的示例


{ "store": {
    "book": [ 
      { "category": "reference",
        "author": "Nigel Rees",
        "title": "Sayings of the Century",
        "price": 8.95
      },
      { "category": "fiction",
        "author": "Evelyn Waugh",
        "title": "Sword of Honour",
        "price": 12.99
      },
      { "category": "fiction",
        "author": "Herman Melville",
        "title": "Moby Dick",
        "isbn": "0-553-21311-3",
        "price": 8.99
      },
      { "category": "fiction",
        "author": "J. R. R. Tolkien",
        "title": "The Lord of the Rings",
        "isbn": "0-395-19395-8",
        "price": 22.99
      }
    ],
    "bicycle": {
      "color": "red",
      "price": 19.95
    }
  }
}

虽然说没有看的太懂，但是基本上够用了。

我主要是用的就是.. 无脑进行递归查找

如果出来的结果太多，那么就写几个前缀缩小一下范围

page_id = jsonpath.jsonpath(D.result, '$.results[0].id')

pdf2image与分割五线谱

Sun, 05 Mar 2023 00:00:00 GMT

引子

我批量制作音乐习题或者视唱练耳的视频，通常会采用github上的一个开源项目。

SmartCropper

Chen-and-Sim • Updated Mar 16, 2023

这是陈文戈老师推荐的，确实是方便好用。

我这边使用的流程大致是：

由ly文件或者tex文件生成一个pdf文件

接下来使用mac自带的自动操作里面的一个小功能，把pdf渲染出最高画质的png图像

在windows上使用SmartCropper进行自动裁剪

一切都非常顺利，但是最近在剪辑4k视频的时候，发现谱例有些毛边。

难道矢量图还会模糊？

我仔细思索了一下，估计是只有在pdf文件格式的时候才是矢量的，一旦导出png图片就有了固定的像素？（不过png我怎么记得也是矢量的）

解决办法

那么怎么解决呢？

我尝试使用latex里面的memoir宏包，把字体调成超大字体的样式。但是失败了，因为会跟lualatex产生冲突。而且还有个问题，字体变大了就会导致pdf的页数变多。那么SmartCropper在识别的时候就会闪退。

把pdf导出非常高像素的图片，这样SmartCropper裁剪的时候就不会有问题。

pdf2image

人人都说python的库非常丰富，我这次算是体验到了。不管是前两天跟notion相关的，还是今天找到这个。

pdf2image

A wrapper around the pdftoppm and pdftocairo command line tools to convert PDF to a PIL Image list.

https://pypi.org/project/pdf2image/

使用方法作者写的很清楚，首先需要安装poppler 。如果是mac上的话可以直接brew，而windows的话可以在它提供的下载链接里直接下载。下载完成之后也不需要安装，只需要过会把路径填写到代码里面就行。


# 引入pdf转换的库
from pdf2image import convert_from_path
from pdf2image.exceptions import (
    PDFInfoNotInstalledError,
    PDFPageCountError,
    PDFSyntaxError
)

# 把pdf文件转换成一个Image对象列表
image_l = convert_from_path(pdf_path='/Users/xhhdd/Desktop/1.pdf', dpi=300, size=(10000, None), thread_count=15)
# 使用Image的save功能保存图片
i = 0
for v in image_l:
    i += 1
    v.save(f'temp/{str(i).zfill(3)}.png', dpi=(300, 300), compress_level=1)

使用流程算是非常清晰的：

先把pdf文件转换成一个Image对象列表

接着保存图片即可

使用过程中也遇到一些小问题，比如说convert_from_path 里指定dpi，但如果Image保存的时候不指定dpi的话，生成的图片dpi都是默认的72。另外就是，在转换Image对象列表的时候，内存占用挺大的，不知道是不是正常现象。

最后

我也不知道这样算不算好的解决方式，整套流程比之前话的时间多很多，而且更加高分辨率的图片也会加重SmartCropper的运算时间。

一个比较好用的notion api封装

Fri, 03 Mar 2023 00:00:00 GMT

前段时间研究了一下notion的api，学会了一点简单的使用方式。

但是自己手动去实现功能，写的代码还是太乱了一点，也不是很会怎么去复用。

于是在网上找那种notion的api封装项目，开箱即用的那种。

notion-py

jamalex • Updated Apr 5, 2023

网上很多推荐的上面这个项目，但是很显然这个消息已经过时了。这个使用token_v2 的起手式感觉已经是现在不能实现的事情。

在这个项目下有人回复，有一个可以代替的项目。

pytion

lastorel • Updated Apr 4, 2023

这个pytion我试了一下，它上面有提供范例代码。整体感觉还是不错的，而且可能是因为多进程的关系？运行起来比自己手动写api请求要快得多。

但是最令人头疼的地方来，这项目我看不懂怎么用！我真的用翻译软件来来回回看了很多次。好像懂了，好像没懂，有一些用法还在代码本身的注释里。我真的快被搞疯了。

最终我还是放弃了，没必要死抠。

pypi上的意外发现

既然我要的就是一个python的库，那不如直接去pypi找。

果然，被我找到一个用法简洁的库。

notion-database

minwook-shin • Updated Mar 26, 2023

感恩，怎么会写的如此清楚！！！！！

照着这些试了一下，很快就实现了自己想要的功能！

关于lyluatex的折腾事件

Wed, 01 Mar 2023 00:00:00 GMT

前因后果都在这了

lyluatex runs slowly on mac · Issue #303 · jperon/lyluatex

Hi author, I've been using lyluatex to get lilypond to work perfectly with latex, but I recently switched to an Apple silicon computer and have some new problems. Background Computer: apple...

https://github.com/jperon/lyluatex/issues/303#issuecomment-1448909451

简单的来说就是

我发现在mac上使用lyluatex的速度还不如在windows上的速度，甚至慢了一倍左右。

开发者非常友好，很细节的帮我找问题。

lilypond-book

提到这个的原因是，想看看是lilypond有问题，还是出在别的方面。

lilypond-book速度非常的快，指的是从lytex生成tex文件。

那么编译tex的时候就出鬼了，如果使用xelatex的话，速度还是相当快的，基本上几十秒就搞定了。但是如果使用lualatex的话就非常的缓慢，跟使用lyluatex的时候差不多。

lyluatex生成tmp-ly

调用lyluatex对新文件进行编译的时候，会在当前目录下生成一个tmp-ly文件。这个文件下面装的是以hash为文件名的相关pdf等文件。等第二次或者接下来编译的时候，就会明显的缩短时间，因为不需要再次生成。

事实上确实是这样。但就是生成tmp-ly文件的时候速度太慢了。

开发者猜想lilypond-book是多线程的，而lyluatex是跟据lyluatex的上下文按顺序来的，所以不能多线程。

解决方案

所以lilypond-book的快是必然的，同样的效果也要差一些。

lyluatex如果想要快，按作者的话说

I’d ensure that the binaries (from MacTeX and from LilyPond) are compiled natively for m2, not "universal" binaries. Otherwise, the only thing I see is avoiding to many changes on scores, so that the tmp-lycache shows its benefits…

反正我已经是被搞晕了，再说吧，用反正是可以用。