18 KiB
论元数据及其清理标准流程
- #1元数据概论
- #2元数据清理指南
- #3元数据清理简略流程
- #4元数据清理标准详细流程
1.元数据概论
正如“元数学”是描述数学本身的数学,“元宇宙”是真实世界内的数字虚拟世界一样,所谓“元数据”无非是描述数据本身的数据。例如某文件的修改记录、某日志的时间戳,等等。它的作用主要体现在描述概括补充信息,本身可以不包括内容信息。尽管如此,它的作用依旧是非常重要的,这既是对于需要快速获得概览性数据的读取软件来说,又是对于潜在的刺探者审计者来说的。
我们可以简单的看看没有清理过元数据的图片长什么样:
ExifTool Version Number : 12.57 File Name : 1.jpg Directory : /home/user/Desktop File Size : 2.2 MB File Modification Date/Time : 2025:11:29 22:30:25+08:00 File Access Date/Time : 2025:11:29 22:29:27+08:00 File Inode Change Date/Time : 2025:11:29 22:30:25+08:00 File Permissions : -rw-r--r-- File Type : JPEG File Type Extension : jpg MIME Type : image/jpeg JFIF Version : 1.02 Resolution Unit : inches X Resolution : 72 Y Resolution : 72 Profile CMM Type : Linotronic Profile Version : 2.1.0 Profile Class : Display Device Profile Color Space Data : RGB Profile Connection Space : XYZ Profile Date Time : 1998:02:09 06:49:00 Profile File Signature : acsp Primary Platform : Microsoft Corporation CMM Flags : Not Embedded, Independent Device Manufacturer : Hewlett-Packard Device Model : sRGB Device Attributes : Reflective, Glossy, Positive, Color Rendering Intent : Perceptual Connection Space Illuminant : 0.9642 1 0.82491 Profile Creator : Hewlett-Packard Profile ID : 0 Profile Copyright : Copyright (c) 1998 Hewlett-Packard Company Profile Description : sRGB IEC61966-2.1 Media White Point : 0.95045 1 1.08905 Media Black Point : 0 0 0 Red Matrix Column : 0.43607 0.22249 0.01392 Green Matrix Column : 0.38515 0.71687 0.09708 Blue Matrix Column : 0.14307 0.06061 0.7141 Device Mfg Desc : IEC [http://www.iec.ch](http://www.iec.ch) Device Model Desc : IEC 61966-2.1 Default RGB colour space - sRGB Viewing Cond Desc : Reference Viewing Condition in IEC61966-2.1 Viewing Cond Illuminant : 19.6445 20.3718 16.8089 Viewing Cond Surround : 3.92889 4.07439 3.36179 Viewing Cond Illuminant Type : D50 Luminance : 76.03647 80 87.12462 Measurement Observer : CIE 1931 Measurement Backing : 0 0 0 Measurement Geometry : Unknown Measurement Flare : 0.999% Measurement Illuminant : D65 Technology : Cathode Ray Tube Display Red Tone Reproduction Curve : (Binary data 2060 bytes, use -b option to extract) Green Tone Reproduction Curve : (Binary data 2060 bytes, use -b option to extract) Blue Tone Reproduction Curve : (Binary data 2060 bytes, use -b option to extract) Image Width : 4880 Image Height : 7320 Encoding Process : Progressive DCT, Huffman coding Bits Per Sample : 8 Color Components : 3 Y Cb Cr Sub Sampling : YCbCr4:2:0 (2 2) Image Size : 4880x7320 Megapixels : 35.7
这还只是经过处理的公开平台的图片,一般的图片只能泄漏更多,例如手机截图有时会直接给出设备型号和GPS信息。还有我们工作中经常要接触的pdf的例子:
ExifTool Version Number : 12.57 File Name : 1706.03762v7.pdf Directory : . File Size : 2.2 MB File Modification Date/Time : 2025:11:29 22:53:15+08:00 File Access Date/Time : 2025:11:29 22:53:15+08:00 File Inode Change Date/Time : 2025:11:29 22:53:15+08:00 File Permissions : -rw-r--r-- File Type : PDF File Type Extension : pdf MIME Type : application/pdf PDF Version : 1.5 Linearized : No Author : Create Date : 2024:04:10 21:11:43Z Creator : LaTeX with hyperref Modify Date : 2024:04:10 21:11:43Z PTEX Fullbanner : This is pdfTeX, Version 3.141592653-2.6-1.40.25 (TeX Live 2023) kpathsea version 6.3.5 Producer : pdfTeX-1.40.25 Subject : Title : Trapped : False Page Mode : UseOutlines Page Count : 15
这是一篇由latex编译而来的学术论文pdf,而这在creator``Producer``PTEX Fullbanner条目里面都能很清楚的看到。如果这是MSWord创建的.docx文件,或者由此导出的.pdf文件,那么Author区域很可能会写上你的Microsoft账户名;而对于流氓WPS来说,不仅要写上可以唯一识别账户的东西,还要加上编辑用时,甚至对于微信登陆的账户,还要加上微信名,特色资本主义监视镇压人民可见一斑。
从这些例子,我们可以看出,文件的元数据基本上是由创建这个文件的编辑器及其所在的计算机决定的。一个被清除了元数据的空的docx文件,使用MS Word或Libreoffice或WPS编辑相同的内容,会产生完全不同的元数据,而如果不编辑任何内容,office软件一般不会产生元数据,不过国产软件可能例外,再一次,这是特色及其治下私人资本家一贯的面目;与此相反,像libreoffice这样的自由开源的office软件,即使使用它编辑了文件内容,它产生的元数据里面也不包括任何有关隐私的内容。
总的来说,元数据是一种附带的文本数据,它是由产生或编辑文件的编辑器创建改动的,包括某些可能泄漏个人隐私的内容。在这样内容多少的问题上,编辑器的安全与否是主要决定因素,私有软件(尤其是国产软件)编辑器会尤其附带大量敏感数据,使用它们本来也是与革命线上活动的基本原则相悖的。在不是私有软件的情况下,普通的查看文档而不修改的行为一般不产生或者改变元数据,譬如在B设备仅仅浏览A设备上写出的文章,那么元数据泄漏的隐私是A设备的而不是B设备的。在编辑器安全的基础上,文件的类型是危险元数据多少的次要决定因素,内容丰富的文件(例如pdf或图片)几乎必然包括很多危险的元数据,而一般的office文件包括较少,txt或md这种纯文本文件几乎不包括。
2.元数据清理指南
对我们日常革命工作来说,需要注意的基本上就是图片、office文档、以及pdf这几种格式。我们推荐对所有革命工作涉及的文件,如果可能,一律要清除元数据后发出,不需要特意辨别是否包含敏感元数据,批量处理是不难的。
革命工作中涉及的图片一般有:日常讨论中发送的网图、转发的图片和自己革命设备的截图,以及撰写office文档的配图。后两者是要特别注意的,截图暴露设备型号(截下状态栏还暴露应用信息),讨论激烈的时候很容易忘记这一点;而文档配图是可以单独分离出来审计的,清除文档本身元数据很可能是无效的,应当特别注意。
革命活动中涉及的office文档一般有:撰写的文章和文档。鉴于一般网站和matrix均支持md格式,所以office文档(在我们革命工作中)的作用仅限于撰写复杂格式的文章,或者编辑部同志用来排版导出pdf成品,比较需要注意的仍然是上文所述图片问题,以及注意每次最小的修改都需要清理元数据。
革命活动中涉及的pdf文档一般有:线上传播的大量的成品文档,自己撰写的成品文档。这里自己导出的文档包含的是自己编辑器的元数据,应该尤其注意清理。
下面我们来讨论具体如何查看并清除不同文件的元数据,我们将会以linux和android为例。
对于linux的情况来说,选择是很多的。笔者一般推荐的是exiftool,他是一个非常强大的命令行工具,在大部分linux上都自带或者可以用包管理器直接安装,支持大部分数据格式的元数据查看和编辑。
上文的例子,查看图片元数据:
exiftool /home/user/Desktop/1.jpg
pdf元数据:
exiftool /home/user/Desktop/1.pdf
等等。
删除图片元数据:
exiftool -all:all= /home/user/Desktop/1.jpg
图片的元数据现在是这样:
ExifTool Version Number : 12.57 File Name : 1.jpg Directory : /home/user/Desktop File Size : 2.2 MB File Modification Date/Time : 2025:12:05 16:46:31+08:00 File Access Date/Time : 2025:12:05 16:46:31+08:00 File Inode Change Date/Time : 2025:12:05 16:46:31+08:00 File Permissions : -rw-r--r-- File Type : JPEG File Type Extension : jpg MIME Type : image/jpeg Image Width : 4880 Image Height : 7320 Encoding Process : Progressive DCT, Huffman coding Bits Per Sample : 8 Color Components : 3 Y Cb Cr Sub Sampling : YCbCr4:2:0 (2 2) Image Size : 4880x7320 Megapixels : 35.7
去除了大量的敏感信息,而原来的图片会被重命名为1.jpg_original
删除pdf元数据:
exiftool -all:all= /home/user/Desktop/1.pdf
pdf元数据现在是这样:
ExifTool Version Number : 12.57 File Name : 1.pdf Directory : /home/user/Desktop File Size : 2.2 MB File Modification Date/Time : 2025:12:06 13:14:04+08:00 File Access Date/Time : 2025:12:06 13:14:04+08:00 File Inode Change Date/Time : 2025:12:06 13:14:04+08:00 File Permissions : -rw-r--r-- File Type : PDF File Type Extension : pdf MIME Type : application/pdf PDF Version : 1.5 Linearized : No Page Mode : UseOutlines Page Count : 15
敏感信息均已去除,原来的pdf重命名为1.pdf_original
同时,exiftool会给出这样的提示:
Warning: [minor] ExifTool PDF edits are reversible. Deleted tags may be recovered! - 1.pdf
要使得删除的标签完全不可恢复,需要一个被称为线性化的步骤,也就是这个标签:
Linearized : No
它显示现在pdf还没有被线性化,要完成线性化,需要一个叫做qpdf的命令行工具:
qpdf 1.jpg --linearize 1.linearized.jpg
这时再查看1.linearized,jpg的元数据,就能看到:
Linearized : Yes
这代表pdf经过了线性化,也就是所谓网页优化,这个步骤本来是为了让pdf在网页上加载更快,显示更流畅,然而它也同时会轻微的改变pdf结构,从而使得元数据不可恢复。
为了方便,还有:
qpdf 1.jpg --linearize --replace-input
这可以直接覆盖原文件。
exiftool处理图片和pdf非常方便,然而对于有些文件,它只能读取元数据,而无法改写。对于office文档的情况,可以在各个office软件大致相同的位置(对于libreoffice是在文件-属性-总览里去掉“附加用户数据”)手动抹除敏感数据,但是不一定干净。所以我们要推荐一个粗暴的方法,也就是mat2工具包,它可以抹除几乎所有文件(包括odt、docx)的元数据,同样在大多数linux发行版本上自带或可以直接安装。
mat2的语法是:
mat2 /home/user/Desktop/1.jpg
这会保留原来的文件,而产生一个新的1.cleaned.jpg,它的元数据完全被清理干净了。
同样为了方便,可以有:
mat2 /home/user/Desktop/1.pdf --inplace
这将不保留原文件。
有同志可能会疑惑,既然mat2如此方便,适配所有文件格式,并且可以一键解决问题,那么为何还要推荐exiftool呢?mat2的问题主要体现在两方面,首先它无法查看元数据或者修改一部分,只能够彻底删除;另外如果使用它来清理pdf,会发现一个问题:
ExifTool Version Number : 12.57 File Name : 1.cleaned.pdf Directory : . File Size : 3.2 MB File Modification Date/Time : 2025:12:06 15:30:04+08:00 File Access Date/Time : 2025:12:06 15:30:04+08:00 File Inode Change Date/Time : 2025:12:06 15:30:04+08:00 File Permissions : -rw-r--r-- File Type : PDF File Type Extension : pdf MIME Type : application/pdf PDF Version : 1.5 Linearized : No Warning : Invalid xref table
实际上mat2对pdf的作用原理和dangerzone类似,它们会将pdf直接扫描为纯图片,然后逐页输出。这种做法的好处在于,不需要实际加载pdf里面的其他组件,而这些组件能够提供丰富的功能,包括嵌入病毒。坏处在于,这会彻底破坏pdf的结构,结果就导致pdf的文档内跳转链接、索引和搜索功能等失效,无法复制文字(因为整个文档现在都是图片)并且文件变得特别大,所以我们才推荐对一般的pdf采取上述措施线性化措施。
这样我们就讲完了桌面端元数据清理的大概知识。而对于安卓来说,很遗憾,并没有什么原生支持的、适配多重文件类型的元数据清理app。F-droid上面的一些app很多都只能查看并处理图片和视频文件的元数据,并不能处理更多类型的文件。对于这样的情况,只有手机可用的同志只能自行采取一些其他方法,例如自行搜索某些在线清理工具(例如https://www.metadata2go.com/delete-metadata),或综合使用多个不同app和文件管理器的功能来覆盖需要的文件类型,对有一定技术能力的同志来说,exiftool和qpdf都可以在termux内直接安装,但是mat2不行。
3.元数据清理简略流程
对于专门负责清理元数据的同志来说,只是知道以上的知识还是不够的,他要集中处理大量同志提供的文件,而不是只挑选并下载自己选择的文件,这就存在一定的集中的安全风险,使得有意的钓鱼文件攻击或者无意夹带的病毒有可能通过这位同志传播到其他同志那里,因此需要一个特定的安全流程。
我们应当假定,任何发送给同志审核的文件都有危险的可能性。对于这样的文件,我们不能让它们出现在自己的工作设备上,至少不能让它在自己的工作设备上打开。清理员应该要求发送文件的同志不要将文件直接发送在matrix上,而是以加密码的send链接(send.mni.li)形式发送(其他类似链接也可)。清理员应该熟练的使用一般虚拟机、whonix虚拟机或tails系统等隔离工作环境的系统访问下载链接。下载的文件应当经过clamav等linux开源杀毒软件或virustotal等在线病毒检测平台的检查,在本地打开前应当断网。检查无误后,按照上文2中所述方法对文件进行完整的清理。清理完成的文件应当再采用加密的send链接发送,并在清理员的工作设备上下载进行后续处理。
4.元数据清理标准详细流程
-
安全员同志应该要求其他同志通过安全的方式发送pdf文件。如其他同志可以通过send链接(send.mni.li)的方式(需要在浏览器中复制链接打开,可以在网站中设置时间和下载量进行有效期限制,并添加密码)发送给安全员同志。
-
安全员同志得到send链接(send.mni.li)和密码后可以在tails系统下载文件,并进行处理。
-
通过virustotal在线网站进行安全检查。各项指标都通过就是没有安全问题。
-
(可选但比较麻烦)或者提前下载clamav(clamav.net),之后对文件进行断网安全检查。
在终端中安装,使用命令:
sudo apt-install clamav clamav-daemon
-
安装qpdf。在终端中使用命令:
sudo apt-get install qpdf -
在终端中使用命令 exiftool path_to_pdf/xxx.pdf 检查包括但不限于
creator、Producer、PTEX Fullbanner、Author等条目有无敏感信息,Linearized是否线性化。 -
在终端中使用命令:
exiftool -all:all= path_to_pdf/xxx.pdf
qpdf path_to_pdf/xxx.pdf --linearize path_to_pdf/xxx.linearized.pdf
#查看敏感信息是否去除,`Linearized`条目是否线性化,使用命令:
```bash
exiftool path_to_pdf/xxx.linearized.pdf
也可以直接覆盖原文件,使用命令:
qpdf path_to_pdf/xxx.pdf --linearize --replace-input
-
(可选)使用mat2命令暴力抹除敏感数据。在终端中使用命令:
mat2 path_to_pdf/xxx.pdf或者直接覆盖原文件,使用命令:
mat2 path_to_pdf/xxx.pdf --inplace同样,查看敏感信息是否去除,使用命令:
exiftool path_to_pdf/xxx.cleaned.pdf可以查看文件是否变大,文件内部链接是否还可以跳转,文字是否可以复制等操作。如果变大和不可复制则说明mat2命令把PDF文件变成图片了。
tails系统的一些注意事项
- tails系统的网桥获取
安全员可以:
1.访问 https://bridges.torproject.org/options
2.(1)用gmail或者riseup邮箱给[email protected]邮箱写空邮件
(2)用任意邮箱给[email protected]邮箱写邮件,标题为private bridge cn,内容为空
3.在桌面端tor browser里请求
4.从tg机器人@GetBridgesBot请求
5.在iz里请求
6.可以使用一些在线剪贴板(pastebin)暂时保存已有的网桥(需要tails先联网或者持久化存储,不推荐)
7.usb介质传输网桥文件
8.手打网桥