پاک‌سازی داده

مدیریت مقادیر گم‌شده با Missing Value

وقتی سلولی خالی است

مقادیر گم‌شده (missing values) یکی از رایج‌ترین مشکلات هر مجموعه‌داده واقعی هستند و اگر بدون تصمیم آگاهانه نادیده گرفته شوند، می‌توانند نتیجه تحلیل را کاملاً منحرف کنند. node «Missing Value» در KNIME راه‌های مختلفی برای مدیریت این مشکل، به‌تفکیک نوع ستون، ارائه می‌دهد.

برای ستون‌های عددی، رایج‌ترین گزینه‌ها عبارت‌اند از:

  • Mean/Median: جایگزینی با میانگین یا میانه ستون، مناسب وقتی مقدار گم‌شده کم و تصادفی است.
  • Fix value: جایگزینی با یک عدد ثابت مشخص، مثلاً صفر.
  • Remove row: حذف کامل سطرهایی که در آن ستون مقدار ندارند.

برای ستون‌های متنی، معمولاً از «Most frequent value» (پرتکرارترین مقدار) یا یک مقدار ثابت مثل «نامشخص» استفاده می‌شود. تصمیم درست بستگی به معنای داده دارد؛ برای مثال اگر ستون «تعداد بازدید» خالی است، شاید معنایش صفر بازدید باشد، نه میانگین بازدید سایرین، در حالی که برای ستون «سن مشتری» میانگین یا میانه معمولاً منطقی‌تر است.

قبل از پاک‌سازی:
| نام مشتری | سن  | شهر    |
|-----------|-----|--------|
| علی       | 34  | تهران  |
| مریم      |     | تبریز  |
| رضا       | 41  |        |

بعد از Missing Value (سن: میانه، شهر: مقدار ثابت "نامشخص"):
| نام مشتری | سن  | شهر     |
|-----------|-----|---------|
| علی       | 34  | تهران   |
| مریم      | 37  | تبریز   |
| رضا       | 41  | نامشخص  |

پیش از انتخاب هر استراتژی، حتماً با node Statistics بررسی کنید چند درصد از هر ستون گم‌شده است؛ اگر بیش از نیمی از یک ستون خالی باشد، شاید بهتر باشد کل ستون حذف شود تا این‌که با مقادیر جایگزین، تحلیل را گمراه‌کننده کنید.

برای ذخیره‌ی پیشرفت و شرکت در آزمون، وارد شوید — رایگان است.