From 5ccfbbb9e307816a298b4ddd55169c7cafd35e6e Mon Sep 17 00:00:00 2001 From: wpec Date: Mon, 16 Nov 2026 02:09:07 +0800 Subject: [PATCH] =?UTF-8?q?=E6=9B=B4=E6=96=B0=20=E8=AE=BA=E5=85=83?= =?UTF-8?q?=E6=95=B0=E6=8D=AE=E5=8F=8A=E5=85=B6=E6=B8=85=E7=90=86=E6=A0=87?= =?UTF-8?q?=E5=87=86=E6=B5=81=E7=A8=8B?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...%86%E6%A0%87%E5%87%86%E6%B5%81%E7%A8%8B.md | 192 ++++++++---------- 1 file changed, 80 insertions(+), 112 deletions(-) diff --git a/%E8%AE%BA%E5%85%83%E6%95%B0%E6%8D%AE%E5%8F%8A%E5%85%B6%E6%B8%85%E7%90%86%E6%A0%87%E5%87%86%E6%B5%81%E7%A8%8B.md b/%E8%AE%BA%E5%85%83%E6%95%B0%E6%8D%AE%E5%8F%8A%E5%85%B6%E6%B8%85%E7%90%86%E6%A0%87%E5%87%86%E6%B5%81%E7%A8%8B.md index e037be7..8397fd7 100644 --- a/%E8%AE%BA%E5%85%83%E6%95%B0%E6%8D%AE%E5%8F%8A%E5%85%B6%E6%B8%85%E7%90%86%E6%A0%87%E5%87%86%E6%B5%81%E7%A8%8B.md +++ b/%E8%AE%BA%E5%85%83%E6%95%B0%E6%8D%AE%E5%8F%8A%E5%85%B6%E6%B8%85%E7%90%86%E6%A0%87%E5%87%86%E6%B5%81%E7%A8%8B.md @@ -1,11 +1,7 @@ -# 论元数据及其清理标准流程 +> 修订日期:2026.10 +> 适用工位:资料管理员 -- #1元数据概论 -- #2元数据清理指南 -- #3元数据清理简略流程 -- #4元数据清理标准详细流程 - -## 1.元数据概论 +## 1. 元数据概论 正如“元数学”是描述数学本身的数学,“元宇宙”是真实世界内的数字虚拟世界一样,所谓“元数据”无非是描述数据本身的数据。例如某文件的修改记录、某日志的时间戳,等等。它的作用主要体现在描述概括补充信息,本身可以不包括内容信息。尽管如此,它的作用依旧是非常重要的,这既是对于需要快速获得概览性数据的读取软件来说,又是对于潜在的刺探者审计者来说的。 @@ -106,7 +102,7 @@ Page Count : 15` 总的来说,元数据是一种附带的文本数据,它是由产生或编辑文件的编辑器创建改动的,包括某些可能泄漏个人隐私的内容。在这样内容多少的问题上,编辑器的安全与否是主要决定因素,私有软件(尤其是国产软件)编辑器会尤其附带大量敏感数据,使用它们本来也是与革命线上活动的基本原则相悖的。在不是私有软件的情况下,普通的查看文档而不修改的行为一般不产生或者改变元数据,譬如在B设备仅仅浏览A设备上写出的文章,那么元数据泄漏的隐私是A设备的而不是B设备的。在编辑器安全的基础上,文件的类型是危险元数据多少的次要决定因素,内容丰富的文件(例如pdf或图片)几乎必然包括很多危险的元数据,而一般的office文件包括较少,txt或md这种纯文本文件几乎不包括。 -## 2.元数据清理指南 +## 2. 元数据清理指南 对我们日常革命工作来说,需要注意的基本上就是图片、office文档、以及pdf这几种格式。我们推荐对所有革命工作涉及的文件,如果可能,一律要清除元数据后发出,不需要特意辨别是否包含敏感元数据,批量处理是不难的。 @@ -118,7 +114,8 @@ Page Count : 15` 下面我们来讨论具体如何查看并清除不同文件的元数据,我们将会以linux和android为例。 -对于linux的情况来说,选择是很多的。笔者一般推荐的是exiftool,他是一个非常强大的命令行工具,在大部分linux上都自带或者可以用包管理器直接安装,支持大部分数据格式的元数据查看和编辑。 +## 元数据清除方案1 +对于linux的情况来说,选择是很多的。如exiftool,他是一个非常强大的命令行工具,在大部分linux上都自带或者可以用包管理器直接安装,支持大部分数据格式的元数据查看和编辑。 上文的例子,查看图片元数据: @@ -206,49 +203,92 @@ Page Count : 15` 这可以直接覆盖原文件。 -exiftool处理图片和pdf非常方便,然而对于有些文件,它只能读取元数据,而无法改写。对于office文档的情况,可以在各个office软件大致相同的位置(对于libreoffice是在文件-属性-总览里去掉“附加用户数据”)手动抹除敏感数据,但是不一定干净。所以我们要推荐一个粗暴的方法,也就是mat2工具包,它可以抹除几乎所有文件(包括odt、docx)的元数据,同样在大多数linux发行版本上自带或可以直接安装。 +### 总结流程: +1.安装**qpdf**。在终端中使用命令: + + ```bash + sudo apt-get install qpdf + ``` + +2.在终端中使用命令 exiftool path_to_pdf/xxx.pdf 检查包括但不限于`creator`、`Producer`、`PTEX Fullbanner`、`Author`等条目有无敏感信息,`Linearized`是否线性化。 -mat2的语法是: +3. 在终端中使用命令: + + ```bash + exiftool -all:all= path_to_pdf/xxx.pdf + + qpdf path_to_pdf/xxx.pdf --linearize path_to_pdf/xxx.linearized.pdf + ``` -`mat2 /home/user/Desktop/1.jpg` + ```bash + #查看敏感信息是否去除,`Linearized`条目是否线性化,使用命令: + + exiftool path_to_pdf/xxx.linearized.pdf + ``` -这会保留原来的文件,而产生一个新的`1.cleaned.jpg`,它的元数据完全被清理干净了。 + 也可以直接覆盖原文件,使用命令: -同样为了方便,可以有: + ```bash + qpdf path_to_pdf/xxx.pdf --linearize --replace-input + ``` -`mat2 /home/user/Desktop/1.pdf --inplace` +## 元数据清除方案2 +exiftool处理图片和pdf非常方便,然而对于有些文件,它只能读取元数据,而无法改写。对于office文档的情况,可以在各个office软件大致相同的位置(对于libreoffice是在文件-属性-总览里去掉“附加用户数据”)手动抹除敏感数据,但是不一定干净。 +所以我们要推荐一个粗暴的方法,也就是mat2工具包,它可以抹除几乎所有文件(包括odt、docx)的元数据,同样在大多数linux发行版本上自带或可以直接安装。这是tor project的官方项目。用其他软件清除可能对一些媒体和附件信息有遗漏。 +### 安装软件 + - 安装mat2:`sudo apt install mat2` + - 参考资料: + https://askubuntu.com/questions/751897/how-to-remove-all-metadata-from-a-file-e-g-pdf + https://unix.stackexchange.com/questions/608593/removing-metadata-from-a-pdf + - 使用inplace选项会把原文件直接替换为清除元数据后的文件 + `mat2 --inplace filename.pdf` + - 清除pdf元数据应使用lightweight选项,否则pdf内容会全部变成图像: https://github.com/tpet/mat2 + - mat2有图形界面(GUI)版:https://unix.stackexchange.com/questions/608593/removing-metadata-from-a-pdf + - 其他选择: +https://www.baeldung.com/linux/files-remove-metadata +https://stackoverflow.com/questions/60738960/remove-pdf-metadata-removing-complete-pdf-metadata +- mat2清除元数据不会删除pdf软件加上的高亮、注释等,而是会把他变成页面的不可删除的一部分(有时这些注释的内容本身就包含了敏感信息),所以必须先清除这些信息 + - 安装rewritepdf:`sudo apt install libcam-pdf-perl` + - 参考资料:https://superuser.com/questions/221711/batch-remove-comments-from-pdf-files +- mat2清除元数据会把书签删掉,所以事先用pdftk先把书签先导出,清除元数据后再加上: + - 安装pdftk:`sudo apt install pdftk` + - 参考资料:https://gist.github.com/hubgit/6078384 +- 如果准备把几个pdf文件合并成一个,合并前就应该用先mat2对各个文件清除一遍metadata,不然合并完有时消除不掉(mat会报错)。然后合并后再清除一遍。 +- 注意:如果一个文件我们是自己给他做ocr的,使用本方法会把ocr消除,恢复到文件本身未ocr的状态。这个未找到解决方法。 +- mat2自带功能查看单个文件元数据的功能`mat2 --show filename.pdf`,但批量查看的方法我没测试成功,我是使用exitftool来批量检查元数据: + - 安装exitftool:`sudo apt install libimage-exiftool-perl` + - 参考资料:https://exiftool.org/ -这将不保留原文件。 - -有同志可能会疑惑,既然mat2如此方便,适配所有文件格式,并且可以一键解决问题,那么为何还要推荐exiftool呢?mat2的问题主要体现在两方面,首先它无法查看元数据或者修改一部分,只能够彻底删除;另外如果使用它来清理pdf,会发现一个问题: - -`ExifTool Version Number : 12.57 -File Name : 1.cleaned.pdf -Directory : . -File Size : 3.2 MB -File Modification Date/Time : 2025:12:06 15:30:04+08:00 -File Access Date/Time : 2025:12:06 15:30:04+08:00 -File Inode Change Date/Time : 2025:12:06 15:30:04+08:00 -File Permissions : -rw-r--r-- -File Type : PDF -File Type Extension : pdf -MIME Type : application/pdf -PDF Version : 1.5 -Linearized : No -Warning : Invalid xref table` - -实际上mat2对pdf的作用原理和dangerzone类似,它们会将pdf直接扫描为纯图片,然后逐页输出。这种做法的好处在于,不需要实际加载pdf里面的其他组件,而这些组件能够提供丰富的功能,包括嵌入病毒。坏处在于,这会彻底破坏pdf的结构,结果就导致pdf的文档内跳转链接、索引和搜索功能等失效,无法复制文字(因为整个文档现在都是图片)并且文件变得特别大,所以我们才推荐对一般的pdf采取上述措施线性化措施。 +### 元数据批量清除全流程 +1. 安装必要的软件: +`sudo apt install mat2` +`sudo apt install libcam-pdf-perl` +`sudo apt install pdftk` +3. 在电脑上建立一个文件夹,把所有待清除元数据的文件放入这个文件夹 +4. 打开terminal,cd到1.中的文件夹 +5. 批量消除当前文件夹中所有pdf文件中的所有注释、高亮和评论 +`for i in *.pdf; do rewritepdf -C $i $i; done` + - 单个文件命令:`rewritepdf -C in.pdf out.pdf` + - 如果不想直接替换原文件,而是新建一个清除注释后的版本:`for i in *.pdf; do rewritepdf -C "$i" "$i".new; done` +6. 批量导出当前当前文件夹中所有pdf文件中的书签信息,txt文件导出到pdf所在的文件夹中 +`for i in *.pdf; do pdftk $i data_dump output $i.txt; done` +7. 手动修改bookmark文件,把所有txt文件中,不以”bookmark"开头的行全部删除。只留bookmark开头的行。bookmark开头的行是书签信息,其他行的信息都删除。 + - 参考资料:https://opensource.com/article/22/1/pdf-metadata-pdftk +8. 清除当前文件夹中所有文件的元数据,但不要把pdf变成图像(lightweight模式)。一定要确保当前cd到了1.中的文件夹了,不然会去清除别的地方的文件的元数据。 +`for i in *; do mat2 --inplace --lightweight "$i"; done` +9. 把书签信息再加回清除元数据后的pdf,并把最终文件导出到pdf所在文件夹下的一个叫output的文件夹(需要提前创建,不然会报错) +`for i in *.pdf; do pdftk $i update_info $i.txt output output/$i; done` +10. 检查当前文件夹及其子文件中所有文件(包括子文件夹中的)的元数据: +`for i in *; do exiftool -extractEmbedded -all:all "$i"; done` 这样我们就讲完了桌面端元数据清理的大概知识。而对于安卓来说,很遗憾,并没有什么原生支持的、适配多重文件类型的元数据清理app。F-droid上面的一些[app](https://f-droid.org/packages/rocks.poopjournal.metadataremover/)很多都只能查看并处理图片和视频文件的元数据,并不能处理更多类型的文件。对于这样的情况,只有手机可用的同志只能自行采取一些其他方法,例如自行搜索某些在线清理工具(例如https://www.metadata2go.com/delete-metadata),或综合使用多个不同app和文件管理器的功能来覆盖需要的文件类型,对有一定技术能力的同志来说,exiftool和qpdf都可以在termux内直接安装,但是mat2不行。 -## 3.元数据清理简略流程 +## 安全员工作流程 对于专门负责清理元数据的同志来说,只是知道以上的知识还是不够的,他要集中处理大量同志提供的文件,而不是只挑选并下载自己选择的文件,这就存在一定的集中的安全风险,使得有意的钓鱼文件攻击或者无意夹带的病毒有可能通过这位同志传播到其他同志那里,因此需要一个特定的安全流程。 我们应当假定,任何发送给同志审核的文件都有危险的可能性。对于这样的文件,我们不能让它们出现在自己的工作设备上,至少不能让它在自己的工作设备上打开。清理员应该要求发送文件的同志不要将文件直接发送在matrix上,而是以加密码的send链接(send.mni.li)形式发送(其他类似链接也可)。清理员应该熟练的使用一般虚拟机、whonix虚拟机或tails系统等隔离工作环境的系统访问下载链接。下载的文件应当经过clamav等linux开源杀毒软件或virustotal等在线病毒检测平台的检查,在本地打开前应当断网。检查无误后,按照上文2中所述方法对文件进行完整的清理。清理完成的文件应当再采用加密的send链接发送,并在清理员的工作设备上下载进行后续处理。 -## 4.元数据清理标准详细流程 - 1. 安全员同志应该要求其他同志通过安全的方式发送pdf文件。如其他同志可以通过send链接(send.mni.li)的方式(需要在浏览器中复制链接打开,可以在网站中设置时间和下载量进行有效期限制,并添加密码)发送给安全员同志。 2. 安全员同志得到send链接(send.mni.li)和密码后可以在tails系统下载文件,并进行处理。 @@ -257,81 +297,9 @@ Warning : Invalid xref table` 4. (可选但比较麻烦)或者提前下载clamav(clamav.net),之后对文件进行断网安全检查。 -在终端中安装,使用命令: + 在终端中安装,使用命令: -```bash -sudo apt-install clamav clamav-daemon -``` - -5. 安装**qpdf**。在终端中使用命令: - ```bash - sudo apt-get install qpdf + sudo apt-install clamav clamav-daemon ``` -6. 在终端中使用命令 exiftool path_to_pdf/xxx.pdf 检查包括但不限于`creator`、`Producer`、`PTEX Fullbanner`、`Author`等条目有无敏感信息,`Linearized`是否线性化。 - -7. 在终端中使用命令: - - ```bash - exiftool -all:all= path_to_pdf/xxx.pdf - ``` - -qpdf path_to_pdf/xxx.pdf --linearize path_to_pdf/xxx.linearized.pdf - -```bash -#查看敏感信息是否去除,`Linearized`条目是否线性化,使用命令: -```bash -exiftool path_to_pdf/xxx.linearized.pdf -``` - -也可以直接覆盖原文件,使用命令: - -```bash -qpdf path_to_pdf/xxx.pdf --linearize --replace-input -``` - -8. (可选)使用mat2命令暴力抹除敏感数据。在终端中使用命令: - - ```bash - mat2 path_to_pdf/xxx.pdf - ``` - - 或者直接覆盖原文件,使用命令: - - ```bash - mat2 path_to_pdf/xxx.pdf --inplace - ``` - - 同样,查看敏感信息是否去除,使用命令: - - ```bash - exiftool path_to_pdf/xxx.cleaned.pdf - ``` - - 可以查看文件是否变大,文件内部链接是否还可以跳转,文字是否可以复制等操作。如果变大和不可复制则说明mat2命令把PDF文件变成图片了。 - -### tails系统的一些注意事项 - -1. tails系统的网桥获取 - -安全员可以: - -1.访问 https://bridges.torproject.org/options - -2.(1)用gmail或者riseup邮箱给bridges@torproject.org邮箱写空邮件 - -(2)用任意邮箱给frontdesk@torproject.org邮箱写邮件,标题为private -bridge cn,内容为空 - -3.在桌面端tor browser里请求 - -4.从tg机器人@GetBridgesBot请求 - -5.在iz里请求 - -6.可以使用一些在线剪贴板(pastebin)暂时保存已有的网桥(需要tails先联网或者持久化存储,不推荐) - -7.usb介质传输网桥文件 - -8.手打网桥 \ No newline at end of file