تنظيف البيانات وتحويلها

ليه بننضّف؟

البيانات الخام غالباً مش جاهزة. Garbage in, garbage out: حساب دقيق على بيانات سيئة ينتج نتيجة سيئة. Data cleaning = إصلاح المشاكل، وData transformation = ترتيبها بالصيغة المناسبة للهدف.

القيم المفقودة (Missing values)

• Deletion (حذف): لما القيم المفقودة قليلة وتأثيرها محدود.
• Imputation (تعويض): بالمتوسط/الوسيط/القيم المجاورة لما النقص مبعثر بدون تحيز.
• Flagging (علامة): لما النقص نفسه له معنى (مثل رفض الإجابة).
• الاختيار حسب نسبة ونمط النقص وهدف التحليل — مفيش إجابة واحدة صح.

القيم الشاذة (Outliers) والمكرر (Duplicates)

• الـ outlier مش دايماً خطأ؛ ابدأ بتحديد السبب.
• لو السبب خطأ إدخال/قياس: صحّح أو احذف. لو بيعكس الواقع: احتفظ بيه غالباً.
• Duplicates: تُحذف عادةً، لكن لازم تتأكد إنها مكررة فعلاً (نفس العميل اشترى نفس المنتج مرتين في اليوم = معاملتين منفصلتين).

تحويل النوع (Data type conversion)

• نص إلى رقم: "123" ← 123.
• توحيد صيغة التاريخ: "2026/4/1" و"01 Apr 2026" ← 2026-04-01.
• توحيد التدوين: Male/Female و M/F ← صيغة واحدة.

Normalization وStandardization

• Normalization: تحويل البيانات لمدى من 0 إلى 1 (مثال: 160←0، 170←0.5، 180←1).
• Standardization: تحويل لمتوسط 0 وانحراف معياري 1 (تحديد موقع القيمة نسبة للانتشار).
• الهدف: ما يسيطرش المتغير ذو القيم الكبيرة (سم مقابل كجم).

إعادة التشكيل

• Pivot: تحويل بيانات طولية لجدول صفوف × أعمدة (تاريخ × منتج).
• Join: ربط مجموعتين بيانات بعمود مشترك (رقم الطالب).
• Aggregation: حساب مجاميع/متوسطات لكل مجموعة (مجموع شهري من المبيعات اليومية).