笔记 on KukaDam

[Fairness] Grace：Graph self-distillation and completion to mitigate degree-related biases

Wed, 29 Oct 2025 16:32:18 +0800

论文来自：

Xu H, Xiang L, Huang F, et al. Grace: Graph self-distillation and completion to mitigate degree-related biases[C]//Proceedings of the 29th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. 2023: 2813-2824.

摘要

真实世界图普遍呈现长尾度分布（long-tail degree distribution），大量节点为低度节点（low-degree nodes）。尽管 GNN 在节点分类任务上表现出色，但其性能严重依赖丰富连接，对低度节点表示不足，导致显著的度相关偏差（degree-related bias）。

本文提出 Grace，通过以下两大机制缓解该问题：

自蒸馏（Graph Self-Distillation）：增强低度节点的自表示能力（self-representation）
图补全（Graph Completion）：提升低度节点的邻域同质性比率（Neighborhood Homophily Ratio, NHR）

结合 标签传播（Label Propagation） 防止错误传播。实验表明，Grace 在平衡整体性能与低度节点准确率方面显著优于现有方法。

问题背景与动机

图1：真实图的度分布与性能偏差

核心挑战

挑战	描述
① 自表示不足	GNN 过度依赖邻域聚合，低度节点失去邻域后性能崩塌至 MLP 水平
② 低 NHR	低度节点邻居中同类节点比例极低，违反 GNN 的同质性假设

整体框架

流程

分解 GNN 将 GNN 分成 ST（自变换，MLP） 和 NT（邻域变换） 两部分。
自蒸馏训练
- 教师模型：完整 GNN（ST + NT）
- 学生模型：仅 ST（退化为 MLP）
- 用教师软标签 + 真实标签监督学生，优化 ST 学习“邻域平移”。
图补全（Graph Completion）
- 对低度节点 $ v $，用自蒸馏输出 $ p(v) $ 预测同类邻居
- 建模为多标签任务：正样本=当前邻居，负样本=低相似度节点
- 选前 $ k $ 个高概率同类节点，添加新边，构建新图 $ G’ $。
训练 Grace-GNN 在补全后的图 $ G’ $ 上，用增强的 ST + NT 训练最终 GNN。
推理阶段：标签传播
- 对低度节点，用 $ p(v) $ 选前 $ k $ 个邻居
- 构建有向边（高置信 → 低度）
- 单跳传播： $\hat{p}(v) = (1-\lambda) p(v) + \lambda \sum_{u \to v} p(u)$
- 输出最终预测。

核心特点：自蒸馏增强自表示 + 精准补全提升 NHR + 单跳传播防误传，实现低度节点性能大幅提升，整体无损。

核心模块

自蒸馏（Graph Self-Distillation）

思路

将 GNN 分解为两部分：

ST（Self-Transformation）：节点自身特征变换（MLP）
NT（Neighborhood Transformation）：邻居信息聚合

目标：将图依赖性从 NT 迁移到 ST，使 ST 学习到“邻域平移”

实现

教师模型：完整 GNN（含 ST + NT）
学生模型：仅 ST 部分（退化为 MLP）
训练流程：
- 输入节点特征 → 教师模型 → 软标签 $ p_t(v) $
- 输入相同特征 → 学生模型 → 输出 $ p_s(v) $
- 损失： $\mathcal{L}_{KD} = \sum_v \left[ \alpha \cdot KL(p_t(v) | p_s(v)) + (1-\alpha) \cdot CE(p_s(v), y_v) \right]$

收敛后，ST 隐式编码了邻域信息，增强低度节点自表示

图补全（Graph Completion）

目标

为低度节点预测同类潜在邻居，提升 NHR

建模为多标签预测任务

正样本：当前邻居 $ \mathcal{N}(v) $
候选负样本：其他节点
预测：使用自蒸馏输出的软标签 $ p(v) $
选择策略：
1. 取 $ p(v) $ 中前 2 大概率类别
2. 归一化得到权重
3. 负样本：与 $ v $ 余弦相似度 < $ \eta $
最终标签： $y_v^{\text{multi}} = \text{softmax}\left( \sum_{u \in \mathcal{N}(v)} p(u) \right)$

仅连接最可能同类的节点，避免噪声

标签传播（Label Propagation）

作用

防止图补全中的误分类传播

预测阶段流程

根据 $ p(v) $ 选前 $ k $ 个潜在邻居
构建有向边：$ u \to v $（$ u $ 是高置信邻居）
单跳传播： $\hat{p}(v) = (1 - \lambda) p(v) + \lambda \sum_{u \in \mathcal{N}’(v)} p(u)$ 其中 $ \mathcal{N}’(v) $ 为新图中的邻居

信息单向流动：从可靠节点 → 低度节点

符号表

符号	含义
$ G = (V, E, X, Y) $	原始图
$ \deg(v) $	节点 $ v $ 的度数
$ \text{NHR}(v) $	邻域同质性比率 = 同类邻居数 / 总邻居数
$ \text{ST}(\cdot), \text{NT}(\cdot) $	自变换、邻域变换
$ p_t(v), p_s(v) $	教师/学生模型输出概率
$ \mathcal{L}_{KD} $	知识蒸馏损失
$ \eta $	负样本相似度阈值
$ k $	预测邻居数量
$ G’ $	补全后新图
$ \mathcal{N}’(v) $	新图中 $ v $ 的邻居集

[Privacy] LPGNN：Locally private graph neural networks

Fri, 24 Oct 2025 15:58:38 +0800

论文来自于：

Sajadmanesh S, Gatica-Perez D. Locally private graph neural networks[C]//Proceedings of the 2021 ACM SIGSAC conference on computer and communications security. 2021: 2130-2145.

摘要

图神经网络（GNN）在学习节点表示以完成多种图推理任务时表现出色。然而，当节点代表个人或涉及敏感信息的人类相关变量时，基于图数据的学习可能引发隐私问题。尽管已有大量针对非关系数据的隐私保护深度学习技术，但针对图上深度学习算法的隐私问题研究较少。

本文研究节点数据隐私问题：图节点拥有潜在敏感数据（特征向量与标签）保持私有，但可被中心服务器用于训练GNN。提出一种基于局部差分隐私（LDP）的隐私保护GNN训练算法，具备形式化的隐私保证。

核心贡献

多比特机制（Multi-bit Mechanism）：LDP编码器 + 无偏整流器，实现高效通信下特征扰动与收集。
KProp层：基于多跳聚合的简单图卷积层，增强去噪能力，提升首层卷积估计精度。
Drop鲁棒训练框架：利用KProp对噪声标签进行去噪，提升泛化性能。
理论分析：隐私保证、误差界。
实验验证：在真实数据集上实现良好的准确率-隐私权衡。

问题定义与背景

图结构

图 $ G = (V, E, X, Y) $
- $ V = V_L \cup V_U $：有标签节点 + 无标签节点
- $ X \in \mathbb{R}^{|V| \times d} $：特征矩阵（私有）
- $ Y \in {0,1}^{|V| \times c} $：标签矩阵（私有）
服务器拥有：$ V, E $
节点私有：$ X, Y $

目标

在不泄露原始 $ X, Y $ 的前提下，训练GNN。

图神经网络（GNN）基础

每层嵌入更新：

$$ h^l_{N(v)} = \text{Aggregate}^l \left( \{ h^{l-1}_u \mid \forall u \in \mathcal{N}(v) \} \right) $$$$ h^l_v = \text{Update}^l \left( h^l_{N(v)} \right) $$

初始：$ h^0_v = x_v $
最后一层输出 $ c $ 维向量 + softmax 预测标签

局部差分隐私（LDP）

定义 2.1：机制 $ M $ 满足 $ \epsilon $-LDP，若对任意输入 $ x, x’ $ 和输出 $ y $：

$$ \Pr[M(x)=y] \leq e^\epsilon \Pr[M(x')=y] $$

$ \epsilon $：隐私预算（越小越强）
实现方式：本地扰动 → 聚合去噪

整体框架

流程

节点本地扰动 每个节点用 Multi-bit Encoder 对特征进行局部扰动，生成编码向量；有标签节点用 广义随机响应 扰动标签。一次性上传至服务器。
服务器去偏估计 服务器用 Multi-bit Rectifier 对所有扰动向量进行无偏校正，估计近似首层卷积输入。
插入 KProp 去噪 在 GNN 前插入 KProp 多跳聚合层，通过 K 步线性传播平均化噪声，增强低度节点表示。
GNN 训练（Drop 鲁棒框架）
- 前向传播得到预测概率
- 用 KProp 聚合预测概率，生成“净化标签”
- 结合扰动标签 + 净化标签计算损失
- 反向传播更新模型
迭代至收敛 每轮重复扰动→上传→去偏→训练，直至模型收敛。
推理训练好的 GNN 直接用于新节点分类（无需再扰动）。

核心特点：一次通信 + 聚合去噪 + 标签净化，实现 隐私保护下的高精度 GNN 训练。

核心组件

Multi-bit Encoder（节点端）

输入：节点 $ v $ 的原始特征 $ x_v \in \mathbb{R}^d $
输出：扰动编码向量
目标：高维特征下高效通信 + LDP保证
方法：扩展1-bit机制至多维，逐维度采样并翻转

每个节点仅需一次通信发送扰动特征

Multi-bit Rectifier（服务器端）

输入：所有节点的扰动编码
输出：无偏估计的聚合特征
作用：校正统计偏差，近似首层图卷积
关键：利用线性聚合作为天然去噪机制

聚合平均化注入的差分隐私噪声

KProp（多跳聚合层）

$$ h_v^{(k)} = (1 - \alpha) h_v^{(k-1)} + \alpha \cdot \text{Aggregate}(h_u^{(k-1)}, u \in \mathcal{N}(v)) $$

输入：扰动后特征
操作：迭代K次线性聚合，扩展有效邻域至K跳
作用：
1. 增强去噪（噪声 ~ 1/√聚合规模）
2. 提升低度节点估计精度
3. 可插入任意GNN前作为预处理层

特别适用于幂律分布图（多数节点度数低）

标签扰动（Randomized Response）

正确标签保留概率：$ p = \frac{e^\epsilon}{e^\epsilon + c - 1} $

其他类别随机翻转为：$ q = \frac{1}{e^\epsilon + c - 1} $

Drop：鲁棒训练框架

挑战

噪声标签 → 过拟合 → 泛化差
无干净验证集 → 难以调参

解决方案

利用KProp对标签预测概率进行多跳聚合
估计每个节点的邻域标签频率
选择频率最高者作为“净化标签”
用于损失计算或早停判断

不依赖任何干净数据（特征/标签）

符号表（文中主要符号）

符号	含义
$ G = (V, E, X, Y) $	图结构
$ V_L, V_U $	有/无标签节点集
$ x_v \in \mathbb{R}^d $	节点 $ v $ 的特征向量
$ y_v \in {0,1}^c $	节点 $ v $ 的one-hot标签
$ \mathcal{N}(v) $	节点 $ v $ 的邻居集（可含自身）
$ h^l_v $	第 $ l $ 层节点 $ v $ 的嵌入
$ \epsilon $	隐私预算
$ K $	KProp 步数
$ M(\cdot) $	LDP扰动机制
$ \text{MB-Encoder} $	多比特编码器
$ \text{MB-Rectifier} $	多比特整流器

[Privacy] 自适应隐私预算分配

Thu, 23 Oct 2025 19:00:59 +0800

按度数分布划分区间，总隐私预算以区间

Yuan Y, Lei D, Fan Q, et al. Achieving Adaptive Privacy-Preserving Graph Neural Networks Training in Cloud Environment[C]//2024 IEEE 12th International Conference on Information, Communication and Networks (ICICN). IEEE, 2024: 181-186.

Yuan Y, Lei D, Zhang C, et al. Personalized differential privacy graph neural network[J]. IEEE/CAA Journal of Automatica Sinica, 2025.

给出一个总体区间 $[ε_1, ε_2]$，再按节点度数把用户分桶，并把 $[ε_1, ε_2]$切成多个子区间；每个用户的“初始”隐私预算 $ε_s$ 会从对应子区间里随机采样（按指数分布采样），因此不同用户拿到的起始预算彼此不同

根据度数的大小，我们可以将这些节点划分成几个区间。例如：

区间1：度数小于等于 10
区间2：度数大于 10 且小于等于 50
区间3：度数大于 50

根据区间的划分，隐私预算会在区间 $[ε₁, ε₂]$ 内进行分配。假设$ε₁ = 0.1$，$ε₂ = 1$，并且使用指数分布来决定隐私预算的具体值：

对于区间1，为其分配较高的隐私预算（如接近$ε₂ = 1$）。
对于区间，隐私预算会适中。
对于区间3，隐私预算会较低（接近$ε₁ = 0.1$）。

隐私预算的分配在度数区间的划分上使用了指数分布。其公式为：

$$ \text{Sample from exponential distribution } f(y, \lambda) = \lambda e^{-\lambda y}, \, (y \geq 0) $$

之后用户用各自的 $ε_s$ 加噪：$\hat X_s=f(X_s)+\mathrm{Lap}(\Delta f/ε_s)$，

APPGNN按照节点度数划分为若干个区间，并将 隐私预算区间 对应划分，根据节点度数的 比例分布，将其 映射到指数分布的分位数区间，从中 采样出个性化的隐私预算。

拓扑重要性个性化，总隐私预算以区间

Lei D, Song Z, Yuan Y, et al. Achieving Personalized Privacy-Preserving Graph Neural Network via Topology Awareness[C]//Proceedings of the ACM on Web Conference 2025. 2025: 3552-3560.

提出“邻接信息熵”（Adjacency Information Entropy, AIE）来衡量节点拓扑重要性，既考虑直连邻居也考虑间接关系：先算邻接度 $AD_u=\sum_{v\in \mathcal N_u} D_v$，再定义概率 $p_u=D_u/AD_v$，最后得信息熵式的 $AIE_u=-\sum_{v\in \mathcal N_u}(p_u\log_2 p_u),p_v$（式(4)–(6)）。重要性越高→隐私敏感度越高。

将总预算区间 $[,\epsilon_b,\epsilon_e,]$ 按节点隐私敏感度分成 $M$ 个等级与对应子区间，并假设预算在该区间内服从指数分布（真实网络度分布常呈幂律，少数节点很重要）。通过指数分布分位点把 $[,\epsilon_b,\epsilon_e,]$ 切成 $(\epsilon_b,\epsilon_1],(\epsilon_1,\epsilon_2],\dots,(\epsilon_{M-2},\epsilon_e]$，切分边界用式(7)(8)的分位数关系确定；重要节点→分到更小的 $\epsilon$（更强保护/更大噪声），不太重要的节点→更大的 $\epsilon$（更少噪声）。每个节点最终从其子区间随机采样得到个性化预算 $\epsilon_i$。

各节点用自己的 $\epsilon_i$ 做拉普拉斯机制：$\hat X_i=f(X_i)+\mathrm{Lap}(\Delta f/\epsilon_i)$（式(3)、(9)），并用随机响应扰动标签（式(12)），实现特征+标签双重保护。

因不同邻居被加的噪声强度不同，直接平均会放大高噪声邻居的负面影响。论文据“越重要→预算越小→噪声越大”的链条，给重要邻居更小权重：

$$ W_{u,v}=1+\frac{1}{D_u}-\frac{AIE_v}{\sum_{i\in Ner_u}AIE_{u,i}+AIE_u}, $$

再做加权聚合（式(10)(11)）。这样能抑制差异化DP噪声对表示学习的影响。

TDP-GNN 通过拓扑结构识别节点重要性，划分为多个隐私敏感度等级，映射到指数分布的预算区间并采样个性化预算，再结合加权聚合抑制噪声。

上下文多臂赌博机（CMAB）算法分配（区间）

Zhang X, Zhou Y, Hu M, et al. BGTplanner: Maximizing Training Accuracy for Differentially Private Federated Recommenders via Strategic Privacy Budget Allocation[J]. IEEE Transactions on Services Computing, 2025.

步骤 1：生成奖励的预测
- 对于每个动作 $a_t$ 和上下文 $X_t$，BGTplanner使用高斯过程回归模型预测奖励 $r_t$： $$ \mu(z_t) = \text{GPR}(a_t, X_t) $$
步骤 2：计算动作的评分
- 根据预测的奖励 $\mu(z_t)$，为每个可能的动作（隐私预算分配方案）计算一个评分 $\beta_t(a)$，公式如下：

$$ \beta_t(a) = \mu(z_t) - \langle \epsilon_{\text{total}} - \epsilon_t, \lambda_t \rangle $$

其中，$\lambda_t$ 是用于长期隐私预算约束的拉格朗日乘子，确保在整个训练过程中不会超出总预算。

步骤 3：选择最优的隐私预算分配方案
- $\gamma$ 是探索和利用的权衡参数，控制着系统是否偏向于选择当前最优的动作（利用）或探索其他可能的动作。
- $A$ 是动作空间的大小，表示可能的隐私预算分配方案的数量。
步骤 4：更新隐私预算消耗
- 在每轮训练之后，BGTplanner通过隐私预算消耗函数来计算实际消耗的隐私预算 $\epsilon_t$，并更新剩余预算。

假设我们有如下参数：

总隐私预算 $\epsilon_{\text{total}} = 10$

隐私预算区间：$\epsilon_{\text{min}} = 1, \epsilon_{\text{max}} = 5$

每轮的隐私预算分配动作是从区间 $[1, 5]$ 中选择的。

在某个训练回合中，BGTplanner预测奖励为：

$$ \mu(z_t) = 0.8 \quad (\text{基于历史信息和上下文的奖励预测}) $$

接着，BGTplanner计算所有可能动作的评分，并选择评分最高的动作。例如，假设动作 $a_1$ 得分为 0.9，动作 $a_2$ 得分为 0.7，最终选择 $a_1$ 作为隐私预算分配方案。

BGTplanner 每轮都用 CMAB 从一组预算选项中，智能选一个最合适的隐私预算来用

探讨隐私预算的推荐值

Du W, Ma X, Dong W, et al. Calibrating privacy budgets for locally private graph neural networks[C]//2021 International Conference on Networking and Network Applications (NaNA). IEEE, 2021: 23-29.

采用了 Multi-bit LDP Mechanism (LPGNN的方法)对用户特征进行扰动:

输入：

用户特征向量$ x∈[α,β]^d$
隐私预算$\epsilon$
控制参数 m（每次扰动的特征维度数）

输出：

扰动后的特征向量 $ x∈{-1,0,1}^d$

通过链路预测准确率和加入属性推断攻击后的F1-score值推荐隐私预算值

项目	内容
目标	在 LDP 保护的 GNN 中合理选择隐私预算 ε
方法	利用属性推断攻击效果作为隐私度量，结合链路预测准确率评估效用
隐私机制	Multi-bit LDP 机制，用户本地扰动特征，服务器无偏重构
推荐 ε 值	0.5 ~ 1（视具体业务对隐私和效用的需求）

基于遗传算法（GA）的隐私预算分配

Li Y, Song X, Tu Y, et al. GAPBAS: Genetic algorithm-based privacy budget allocation strategy in differential privacy K-means clustering algorithm[J]. Computers & Security, 2024, 139: 103697.

通过分析噪声对质心的影响，推导出 最小隐私预算$ε_m$：

$$ ε_m=(\frac{200k^3d+(1+d)^2}{N^2}(1+ρ^2))^{1/2} $$

其中：

k：聚类数；d：数据维度；N：样本数量；ρ：噪声相关系数（通常取 0.225）；

每轮预算必须满足：$ε_t$≥$ε_m$，否则噪声过大导致质心不收敛。

每个个体是一个长度为 $T$ 的浮点数组：${ε_1,ε_2,…,ε_T}$

GAPBAS 将每轮隐私预算组合成序列，作为遗传算法的个体，在满足总预算和最小预算约束下，优化出使聚类效果（NICV）最优的预算分配策略。

基于隐私安全等级（Privacy Security Level, PSL）

Shen Z, He S, Wang H, et al. A differential privacy budget allocation method combining privacy security level[J]. Journal of Communications and Information Networks, 2023, 8(1): 90-98.

提出 PSL 方法：为每个位置分配一个“隐私安全等级”，并据此动态分配隐私预算 $ε$，实现 个性化、拓扑感知的隐私保护。

步骤：

使用 P-series（p-级数） 为初始敏感位置分配隐私预算
- 使用 P-series 为初始敏感位置分配预算：
  $$ \varepsilon_{m} = \frac{\varepsilon}{\zeta(p)} \times \frac{1}{m^{p}}, \quad m \in \mathbb{N}^{+}, \quad p > 1 $$
  - $\varepsilon$：总隐私预算；
  - $\zeta(p)$：P级数收敛值（如 p=2 时，$\zeta(2)= π²/6$；
  - m：敏感位置编号（按重要性排序）；
  - 结果：重要位置（m 小）获得更大预算（更小噪声）
根据 距离与节点度 为敏感点的邻居分配预算，并支持 动态时间调整
- PSL定义：
  $$ \mathrm{PSL}(k_{m}) = \lambda \times \varepsilon_{m} = \lambda \times \frac{\varepsilon}{\zeta(p)} \times m^{p} $$
  - PSL 与预算$\varepsilon$ 成反比；
  - $\lambda$ 为调节参数;
  - 用于衡量位置的“隐私敏感度”。
将 PSL 映射为隐私预算$ε$，满足 $\epsilon × PSL = \gamma$（$\gamma$ 为常数）

假设：

敏感节点 $k_1$ 的 PSL = 0.6079；

邻居 A 距离为 1，邻居 B 距离为 2；

NPS = {A, B}；

则：
$$ \mathrm{PSL}_{A} = \frac{1/1}{(1/1 + 1/2)} \times 0.6079 = 0.4053, \\ \mathrm{PSL}_{B} = \frac{1/2}{(1/1 + 1/2)} \times 0.6079 = 0.2026 $$
再映射回预算：
$$ \epsilon_{A} = \frac{\gamma}{\mathrm{PSL}_{A}} = \frac{0.5}{0.4053} \approx 1.23 , \\ \epsilon_{B} = \frac{\gamma}{\mathrm{PSL}_{B}} = \frac{0.5}{0.2026} \approx 2.47 $$
PSL 方法通过 P-series 为敏感位置分配递减预算，再结合距离与节点度为邻居分配个性化预算，并支持时间动态调整，实现“重要位置多留数据，敏感位置多加噪声”的精细化隐私保护。