データクレンジング

データクレンジングとは、データの欠損、重複、ノイズ、表記の揺れ、粒度の違いなどを特定し、それらを分析や業務に適したデータに修正をする作業です。名寄せとも言われています。

データ分析においてデータの品質は非常に重要であり、不備があると正確な分析結果を出すことができません。例えば、アンケートで収集したデータで未記入項目があったり、同一の顧客が何度も登録されていたりする場合、適切な分析はできません。その分析結果をもとに意思決定を行おうとすると、本来の状況に合わない判断となってしまいます。そうなれば、データ分析の労力も無駄になってしまいます。

このような事態を避けるため、データを最適化する方法であるデータクレンジングが行われます。