טרנספורמציה של נתונים

בעזרת Google Cloud Data Agent Kit אפשר להשתמש ב-notebooks לניקוי נתונים, להנדסת פיצ'רים ולניתוח מעמיק.יש שלושה סוגים של notebooks שאפשר לבחור מתוכם.

  • מחברות BigQuery DataFrames. אלה מחברות Python שמאפשרות לכם לעבד מערכי נתונים גדולים ב-BigQuery באמצעות ממשקי API מוכרים של pandas ו-scikit-learn. הם תומכים בכתיבת קוד ב-GoogleSQL ל-BigQuery בנוסף ל-Python.

  • נוטבוקים מנוהלים של Apache Spark עם ליבה מקומית. אלה מחברות (notebooks) של Python שמאפשרות ליצור ולהריץ משימות ב-Managed Service for Apache Spark באמצעות ספריית Spark Connect שלו.

  • מחברות Apache Spark מנוהלות עם ליבת הפעלה מרוחקת. מחברות ה-Notebook האלה מאפשרות להריץ את מחברת ה-Notebook בגרעין מרוחק שפועל כולו ב-Managed Service for Apache Spark. אף חלק מהקוד לא מורץ באופן מקומי במחשב. בנוסף ל-PySpark, אפשר לכתוב את הקוד ב-Spark SQL בעזרת %%sparksql cell magic.

לפני שמתחילים

במחברות BigQuery, צריך להתקין את הספרייה bigframes באותה סביבה וירטואלית של Python שבה מריצים את המחברת. כשיוצרים נוטבוק חדש, התא לאתחול מכיל את השורה הבאה, שמופיעה כהערה:

#%pip install --upgrade bigframes

  1. אופציונלי: אם ספריית bigframes לא מותקנת בסביבת Python הווירטואלית, מסירים את ההערה.

  2. אופציונלי: אם אתם מתכננים לכתוב קוד SQL במחברת, צריך להתקין את bigquery-magics:

pip install --upgrade bigquery-magics

התפקידים הנדרשים

כדי לקבל את ההרשאות שנדרשות להרצת מחברות BigQuery, צריך לבקש מהאדמין להעניק לכם את ההרשאה BigQuery Studio User (roles/bigquery.studioUser) בפרויקט שבחרתם בתוסף.

כדי לקבל את ההרשאות שנדרשות לניהול מחברות (notebooks) של Managed Service for Apache Spark, צריך לבקש מהאדמין להקצות לכם את התפקידים הבאים בפרויקט:

מידע נוסף על הקצאת תפקידים מופיע במאמר ניהול הגישה לפרויקטים, לתיקיות ולארגונים. יכול להיות שתוכלו לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.

טרנספורמציה של הנתונים

לגבי נתונים בטבלה ב-BigLake או בטבלה ב-BigQuery, התוסף מספק תבניות של מחברות כדי להתחיל.

עוברים לטבלת BigQuery או BigLake:

  1. מקישים על Ctrl/Cmd-Shift-P כדי לפתוח את לוח הפקודות.
  2. מרחיבים את הכלי לבחירת קטלוג ומחפשים את BigQuery או BigLake.
  3. לוחצים לחיצה ימנית על מזהה הטבלה.

  4. בתפריט הצף, בוחרים באפשרות טעינה ב-Spark DataFrame או באפשרות טעינה ב-BigQuery DataFrame. בחלון עריכה חדש מוצג מידע על הטבלה.

    אפשר גם למצוא את הטבלה באמצעות חיפוש אוניברסלי. לוחצים על מזהה הטבלה כדי לפתוח עורך חדש, לוחצים על הכרטיסייה Data (נתונים) ואז בוחרים באפשרות Load in Spark DataFrame (טעינה ב-Spark DataFrame) או Load in BigQuery DataFrame (טעינה ב-BigQuery DataFrame).

איך מאתחלים מחברת

אחרי שהטבלה נטענת, נוטבוק חדש של Jupyter נפתח בכרטיסיית עריכה עם הקוד הדרוש לטעינת הטבלה בסוג מסגרת הנתונים שבחרתם.

  1. אם הספרייה הנדרשת לא מותקנת בסביבה הווירטואלית של Python, צריך לבטל את ההערה בשורה של pip install.

  2. לוחצים על Select Kernel (בחירת ליבה) ובוחרים ליבת Python.

    במחברות Spark מנוהלות עם ליבות מרוחקות, צריך לבחור ליבת Spark מרוחקת.

  3. מריצים את התא על ידי לחיצה על ▷ Run All (הפעלה של הכול) או על Shift+Enter בחלק התחתון של התא.

  4. אם מוצגת בקשה להתקין תוכנה חסרה, לוחצים על התקנה.

התא יוצר מסגרת נתונים שמכילה את הנתונים בטבלה שנבחרה.

החלת טרנספורמציות נתונים על DataFrame

מוסיפים עוד תאים לנוטבוק וכותבים את הקוד להמרת הנתונים. ב-BigQuery DataFrames, אפשר להמיר את ה-DataFrame באמצעות ממשק API שתואם ל-pandas ומסופק על ידי BigQuery DataFrames.

לחלופין, BigQuery DataFrames מספק פקודת magics שאפשר להשתמש בה כדי לבצע טרנספורמציה של DataFrame באמצעות SQL במחברת Jupyter. כדי לבצע טרנספורמציה של הנתונים באמצעות SQL, פועלים לפי השלבים הבאים:

  1. יוצרים ומריצים תא כדי להפעיל את פקודות ה-magic של Jupyter.

    %load_ext bigframes

  2. יוצרים תא SQL באמצעות פקודות ה-%%bqsql magics.

שמירת התוצאות

משתמשים באחת משיטות הפלט הרבות שזמינות בסוג DataFrames כדי לשמור את הנתונים שעברו טרנספורמציה ב-BigQuery או ב-Cloud Storage. ב-BigQuery DataFrames, שיטות הפלט כוללות את האפשרויות הבאות:

לנתונים קטנים, אפשר לייצא ל-Arrow או ל-Pandas כדי לבצע מניפולציות נוספות באופן מקומי ולהציג את הנתונים בצורה חזותית.

הסרת המשאבים

כדי להימנע מחיובים בחשבון Google Cloud שלך, צריך למחוק את כל המשאבים שיצרת אבל כבר ל�� ��חוצים לך.

המאמרים הבאים