איכות אצוות נתונים: קשרו כל בעיה לשורה ולכלל
אפשרו לעקוב אחר בעיות במערך הנתונים לאצווה, לשורה, לשדה ולכלל. דוגמה ענפית של GO Sport עם הערות איכות בדיוניות ל-JSON או ל-CSV.
במקרה הבוחן של GO Sport, חברת Mirakl מתארת צוות זירת מסחר שבדק ידנית נתוני מוצר חסרים או לא עקביים ממספר מוכרים. היא מדווחת על אימוץ Mirakl Catalog Manager, כולל מנגנון כללי אימות שמזהה נתוני מוצר לא תקינים. לאחר מספר חודשי שימוש, התיאור מציין נראות טובה יותר של שגיאות ופחות עבודת אימות ידנית. הוא כולל התייחסות של מנהל זירת המסחר של GO Sport. הפרסום אינו חושף את המבנה של שורות שגיאה בודדות או את הכללים המדויקים שהוחלו על אצווה מסוימת.
הצמידו את האצווה ואת הכלל לכל בעיה
במסירת נתונים מזירת מסחר, PandaBuyNow מציעה לזהות בכל הערת איכות את גרסת מערך הנתונים, מפתח רשומת המקור והשדה המושפע. שמרו את הערך שנצפה, ההפניה למקור, הפורמט הצפוי, מזהה הכלל וגרסתו. הוסיפו תוצאה כגון עבר, נכשל או לא הוערך, לפי הגדרות שסוכמו עם מקבל הנתונים.
הבחינו בין שגיאת פורמט לבין ערך מקור לא זמין או התאמת מוצר שלא הוכרעה. כלל יכול לבדוק אם שדה מכיל מספר עשרוני, בלי לקבוע אם המספר מתאר את המוצר במדויק. ציינו את התנאי הנבדק במפורש כדי שיהיה אפשר לפרש את התוצאה.
בדקו שתי שורות שגיאה בדיוניות
נבחן את האצווה המומצאת B-07. הרשומה LINE-08 מכילה את הרוחב ״wide״, בעוד שדה הרוחב המוסכם מצפה לערך עשרוני. שמרו את טקסט המקור הזה ודווחו על בעיית פורמט מספרי המקושרת ל-LINE-08 ולשדה הרוחב. הרשומה LINE-09 מכילה רוחב 12 אך אינה מציינת יחידה. דווחו בנפרד על היחידה החסרה במקום לקבוע סנטימטרים.
סיכום האצווה יכול להבחין בין רשומות שנבדקו, רשומות שיש בהן בעיות ומספר הבעיות הכולל. רשומה אחת יכולה להכיל מספר בעיות. המזהים והערכים המומצאים האלה אינם מתארים מערך נתונים של GO Sport או PandaBuyNow.
קשרו את התוצאה לגרסת הקובץ שנמסרת
בהכנת קובץ נתונים מתוקן, שמרו את ההפניה לבעיה הקודמת וציינו את הרשומה המחליפה ואת גרסת מערך הנתונים. תעדו איזו גרסת כלל שימשה לתוצאה המאוחרת. השאירו שדה כלא מוכרע אם החומר הזמין עדיין אינו תומך בפרשנות הנדרשת. כלל שהשתנה צריך להישאר גלוי לצד כל תוצאה שהשתנתה.
לפני קביעת המבנה הסופי, בדקו קטעי נתונים הכוללים שגיאת פורמט, יחידה חסרה ורשומה שלא ניתן היה להעריך. לדיון עם PandaBuyNow, מסרו קישורים מייצגים למוצרים, את שדות ה-JSON או ה-CSV הנדרשים ואת פורמט הערות האיכות שמקבל הנתונים מצפה לו. הסכימו במסגרת היקף מסירת הנתונים על שדות שניתן לספק, תנאים נבדקים, הפניות למקורות וטיפול בשורות שלא הוכרעו.