OIS · שירותי מחקר

מחקר על נתונים רגישים, בלי שהנתונים יוצאים מהמשרד

oissyntheticdata 3.0.0: כלי קוד פתוח, ב-Python וב-R, למשרדי ממשלה ולחוקרים שעובדים איתם

ד״ר יוחנן ועקנין

גלילה, או חץ ↓

01 / הבעיה

הקבצים הרגישים אינם יכולים לצאת מהמשרד

דוגמה: משרד ממשלתי שומר את הפניות לקבלת שירות בתיקייה של קובצי Excel ו-CSV, ובהם מספרי זהות, שמות וכתובות. השאלה פשוטה: כמה ימים עוברים עד שפנייה נסגרת, בכל מחוז?

למסור את הקבצים לחוקר חיצוני?

אי אפשר. יש בהם מידע אישי.

לכתוב את הניתוח בלי לראות את הקבצים?

אי אפשר לכתוב קוד שרץ בלי לדעת מה שמות העמודות, מה יש בהן ואיך הטבלאות מתקשרות זו לזו.

הדוגמה מומצאתoissyntheticdata 3.0.0
02 / הרעיון

שולחים תיאור של הנתונים, לא את הנתונים

בתוך המשרד, סקריפט אחד שנשען על הספרייה הסטנדרטית של Python בלבד קורא את הקבצים וכותב תיאור קטן, בקובצי JSON: שמות העמודות, הסוגים, ההתפלגויות והקשרים בין הטבלאות. אין בו אף שורה מן הנתונים.

שורה בקובץ, במשרד

מספר זהות
012345678
שם
ישראל ישראלי
מחוז
צפון
תאריך פתיחה
14.3.2026

אותן עמודות, בתיאור שיוצא

מספר זהות
ספרות, אורך 9
שם
אותיות; האורך בלבד
מחוז
צפון 412 · מרכז 1,038 · דרום 367
תאריך פתיחה
מרץ 2026: 163 פניות
הדוגמה מומצאתoissyntheticdata 3.0.0
03 / התהליך

התהליך, בארבעה צעדים

1

במשרד: פרופיל

מריצים קובץ אחד בתיקיית הנתונים. הוא כותב תיאור מצרפי של הקבצים.

2

המשרד שולח את התיקייה

רק התיקייה to_send יוצאת, בדוא״ל רגיל. אין בה אף שורה מן הנתונים.

3

בבית: קבצים סינתטיים וסקריפט

אותו מבנה, וכל ערך מומצא. על הקבצים האלה כותבים את סקריפט הניתוח.

4

חזרה למשרד: אותו סקריפט, על הקבצים האמיתיים

הסקריפט אינו משתנה; רק עכשיו המספרים הם ממצאים.

צעדים 1, 2 ו-4 נעשים במשרד; רק צעד 3 נעשה בחוץoissyntheticdata 3.0.0
04 / במשרד · צעדים 1 ו-2

במשרד: קובץ אחד, פקודה אחת

מעתיקים את gov_one.py לתיקיית הנתונים ומריצים:

python gov_one.py

הכלי קורא כל קובץ Excel ו-CSV, מזהה את הקשרים בין הטבלאות וכותב תיקייה בשם to_send. רק היא יוצאת, בדוא״ל רגיל.

מה יש בתיקייה to_send

profile_<table>.json
קובץ לכל טבלה: ספירות, שיעורים ואחוזונים מעוגלים בלבד
schema.json
הקשרים בין הטבלאות
profile_summary.md
מה בדיוק יוצא, עמודה אחר עמודה. מי שמאשר את המשלוח קורא אותו קודם.
בלי התקנות ובלי אינטרנט במשרדoissyntheticdata 3.0.0
05 / בבית · צעד 3

בבית: קבצים סינתטיים, ועליהם הסקריפט

קודם: קבצים סינתטיים

אותו כלי, אותה פקודה, ליד התיקייה to_send:

python gov_one.py

אותם שמות קבצים, גיליונות, כותרות ומספר שורות, אותם קשרים בין הטבלאות, והתפלגויות דומות. כל ערך מומצא.

אחר כך: סקריפט הניתוח

כותבים את הניתוח בתבנית הסקריפט ומריצים:

python analysis_template.py .

ארגז הכלים המובנה: מבחנים סטטיסטיים, רגרסיה, סדרות עתיות מקוטעות ודוח HTML שנפתח בלי אינטרנט.

על הדוח מוטבעת החותמת “Synthetic test data — not findings”oissyntheticdata 3.0.0
06 / חזרה למשרד · צעד 4

אותו סקריפט, על הקבצים האמיתיים

מביאים את הכלי ואת הסקריפט, מניחים אותם ליד הקבצים האמיתיים ומריצים. הסקריפט אינו משתנה; רק עכשיו המספרים הם ממצאים.

בביתקבצים סינתטייםהסקריפטבדיקה שהקוד רץ
במשרדהקבצים האמיתייםאותו סקריפטממצאים
כשהקבצים האמיתיים נמצאים בתיקייה, הסקריפט קורא אותם, והחותמת יורדת מן הדוחoissyntheticdata 3.0.0
07 / מה יוצא

מה יוצא מהמשרד, ומה לא

בנתונים
בקובצי ה-JSON שיוצאים
בנתוניםמספרי זהות, שמות, טלפונים, כתובות, טקסט חופשי
בקובצי ה-JSON שיוצאיםהצורה בלבד: האורך, ואם אלה אותיות או ספרות
בנתוניםקטגוריות (מחוז, סטטוס, סוג פנייה)
בקובצי ה-JSON שיוצאיםהתוויות והספירות; תווית שמופיעה פחות מחמש פעמים מאבדת את שמה
בנתוניםמספרים
בקובצי ה-JSON שיוצאיםתשעה אחוזונים מעוגלים, ממוצע ופיזור
בנתוניםתאריכים
בקובצי ה-JSON שיוצאיםספירות לפי חודש ולפי יום בשבוע; לעולם לא התאריך עצמו
בנתוניםטבלאות מקושרות
בקובצי ה-JSON שיוצאיםכמה שורות יש לכל מפתח, ולאיזה חלק מרשומות האב יש שורות כלשהן
אף שורה אינה מועתקת. ספירה קטנה מ-5 אינה יוצאת, ואת הסף אפשר להעלות.oissyntheticdata 3.0.0
08 / בשביל מה

הקבצים הסינתטיים: לבדיקת הקוד, לא לממצאים

בשביל מה הם טובים

  • לכתוב את הקוד מול קבצים שהמבנה שלהם זהה למבנה של הקבצים האמיתיים
  • לבדוק שהסקריפט רץ כהלכה, מקריאת הקבצים ועד הדוח
  • לתקן שגיאות בבית, לפני שמגיעים למשרד

בשביל מה הם לא טובים

  • ממצאים. תוצאה שחושבה עליהם לעולם אינה ממצא.
  • כל מספר שמדווח מתקבל רק מהרצת הסקריפט על הנתונים האמיתיים, במשרד.
כל ערך בקבצים הסינתטיים מומצאoissyntheticdata 3.0.0
09 / התקנה

התקנה, ב-Python או ב-R

Python

pip install oissyntheticdata
  • גרסה 3.0.0 ב-PyPI, פורסמה ב-12 בנובמבר 2026
  • Python 3.8 ומעלה, הספרייה הסטנדרטית בלבד
  • רישיון MIT

R

install.packages("remotes")
remotes::install_github("yohananouaknine/oissyntheticdata-r")
  • גרסה 3.0.0 ב-GitHub
  • R בסיסי בלבד, מגרסה 4.2 ומעלה
  • אותם קובצי JSON כמו ב-Python
  • רישיון MIT
במשרד עצמו לא מתקינים דבר. מכניסים שני קבצים בלבד: הכלי ותבנית הסקריפט.oissyntheticdata 3.0.0

מי עומד מאחורי הכלי

ד״ר יוחנן ועקנין

חוקר מידע (דוקטורט מאוניברסיטת בר-אילן), לשעבר ראש ענף המחקר בשירות בתי הסוהר. מרצה לשיטות מחקר, עמית מחקר באוניברסיטה הפתוחה ומייסד OIS · שירותי מחקר.

לתיאום שיחה