dask_ml.preprocessing.StandardScaler
dask_ml.preprocessing
.StandardScaler¶
- class dask_ml.preprocessing.StandardScaler(*, copy=True, with_mean=True, with_std=True)¶
通过移除均值并缩放到单位方差来标准化特征。
样本 x 的标准分数计算如下:
z = (x - u) / s
其中 u 是训练样本的均值(如果 with_mean=False 则为零),s 是训练样本的标准差(如果 with_std=False 则为一)。
通过计算训练集中样本的相关统计量,对每个特征独立地进行中心化和缩放。然后存储均值和标准差,以便在后续数据上使用
transform()
。数据集的标准化是许多机器学习估计器的一个常见要求:如果各个特征或多或少看起来不像标准正态分布数据(例如,均值为 0、方差为 1 的高斯分布),它们可能会表现不佳。
例如,学习算法目标函数中使用的许多元素(例如支持向量机的 RBF 核或线性模型的 L1 和 L2 正则化项)都假定所有特征都以 0 为中心并且具有相同量级的方差。如果某个特征的方差比其他特征大几个数量级,它可能会主导目标函数,并使得估计器无法如预期那样正确地从其他特征中学习。
StandardScaler 对异常值敏感,在存在异常值的情况下,特征的缩放可能彼此不同。有关示例可视化,请参阅 比较 StandardScaler 与其他缩放器。
通过传入 with_mean=False 可以将此缩放器应用于稀疏 CSR 或 CSC 矩阵,以避免破坏数据的稀疏结构。
在 用户指南 中阅读更多信息。
- 参数
- copy布尔型, 默认为 True
如果为 False,则尝试避免复制并改为进行原地缩放。不保证总是原地工作;例如,如果数据不是 NumPy 数组或 scipy.sparse CSR 矩阵,仍可能会返回一个副本。
- with_mean布尔型, 默认为 True
如果为 True,则在缩放之前将数据中心化。在稀疏矩阵上尝试此操作将不起作用(并引发异常),因为对其进行中心化需要构建一个密集矩阵,这在常见用例中可能会过大而无法容纳在内存中。
- with_std布尔型, 默认为 True
如果为 True,则将数据缩放到单位方差(或等效地,单位标准差)。
- 属性
- scale_形状为 (n_features,) 的 ndarray 或 None
每个特征的数据的相对缩放,以实现零均值和单位方差。通常使用 np.sqrt(var_) 计算。如果方差为零,则无法实现单位方差,数据保持原样,缩放因子为 1。with_std=False 时,scale_ 等于 None。
0.17 版本新增: scale_
- mean_形状为 (n_features,) 的 ndarray 或 None
训练集中每个特征的平均值。
with_mean=False
且with_std=False
时等于None
。- var_形状为 (n_features,) 的 ndarray 或 None
训练集中每个特征的方差。用于计算 scale_。
with_mean=False
且with_std=False
时等于None
。- n_features_in_整型
在 fit 期间看到的特征数量。
0.24 版本新增。
- feature_names_in_形状为 (n_features_in_,) 的 ndarray
在 fit 期间看到的特征名称。仅当 X 的所有特征名称都是字符串时才定义。
1.0 版本新增。
- n_samples_seen_整型 或 形状为 (n_features,) 的 ndarray
估计器为每个特征处理的样本数量。如果没有缺失样本,
n_samples_seen
将是一个整数,否则它将是一个 dtype 为 int 的数组。如果使用了 sample_weights,它将是一个浮点数(如果没有缺失数据)或一个 dtype 为 float 的数组,它汇总了到目前为止看到的权重。在新的 fit 调用时会重置,但在partial_fit
调用之间会递增。
另请参阅
scale
没有估计器 API 的等效函数。
PCA
使用 'whiten=True' 进一步移除特征之间的线性相关性。
注意
NaNs 被视为缺失值:在 fit 中忽略,在 transform 中保留。
我们使用标准差的有偏估计量,等同于 numpy.std(x, ddof=0)。请注意,ddof 的选择不太可能影响模型性能。
示例
>>> from sklearn.preprocessing import StandardScaler >>> data = [[0, 0], [0, 0], [1, 1], [1, 1]] >>> scaler = StandardScaler() >>> print(scaler.fit(data)) StandardScaler() >>> print(scaler.mean_) [0.5 0.5] >>> print(scaler.transform(data)) [[-1. -1.] [-1. -1.] [ 1. 1.] [ 1. 1.]] >>> print(scaler.transform([[2, 2]])) [[3. 3.]]
方法
fit
(X[, y])计算用于后续缩放的均值和标准差。
fit_transform
(X[, y])拟合数据,然后进行转换。
get_feature_names_out
([input_features])获取转换后的输出特征名称。
get_metadata_routing
()获取此对象的元数据路由。
get_params
([deep])获取此估计器的参数。
inverse_transform
(X[, copy])将数据缩放回原始表示。
partial_fit
(X[, y])在 X 上在线计算均值和标准差,用于后续缩放。
set_fit_request
(*[, sample_weight])请求传递给
fit
方法的元数据。set_inverse_transform_request
(*[, copy])请求传递给
inverse_transform
方法的元数据。set_output
(*[, transform])设置输出容器。
set_params
(**params)设置此估计器的参数。
set_partial_fit_request
(*[, sample_weight])请求传递给
partial_fit
方法的元数据。set_transform_request
(*[, copy])请求传递给
transform
方法的元数据。transform
(X[, y, copy])通过中心化和缩放执行标准化。
- __init__(*, copy=True, with_mean=True, with_std=True)¶