להחזיר לחיים סרט 8 מ״מ מבר המצווה של אחיי

פוסט זה מספר על פרויקט שבניתי בעצמי: שחזור של סרטי הבר מצווה של אחיי מפילם 8 מ״מ. הטקסט נכתב בעזרת בינה מלאכותית ונערך על ידי אבי סלמון.

בקופסת נעליים ישנה חיכתה לי רצועת פילם 8 מ״מ מבר המצווה של אחיי, בערך ארבעים שנה אחורה. מישהו העביר אותה בזמנו לווידאו, בערך שש עשרה דקות וחצי, וזה מה שהיה לי ביד: קובץ אחד, מרצד, שרוט ודהוי. רציתי להחזיר אותו לחיים, אבל לא דרך תוכנה מסחרית שעושה הכול בכפתור אחד. בניתי בעצמי צינור עיבוד שאני שולט בכל שלב שלו, ומריץ עליו את הסרט פריים אחרי פריים. הפוסט הזה מספר איך זה עובד, בלי הקוד עצמו, רק מה כל חלק עושה ולמה.

לפני ואחרי, במבט מהיר

לפני שנצלול לתשעה השלבים, הנה התוצאה. את אותו צינור עיבוד הרצתי על רצועות הפילם של אחיי, וכאן אפשר לראות את המקור מול השחזור זה לצד זה.

בניתי גם מדריך חזותי מלא באנגלית, שמראה כל שלב עם דוגמאות זה לצד זה: Restoring 8mm Film, a visual teaching guide.

מה בעצם לא בסדר בפילם 8 מ״מ ישן

לפני שמתקנים כדאי לתת שם למחלות. לפילם ביתי מהשנים ההן יש אוסף תקלות די קבוע:

• הוא רועד. הפילם אף פעם לא ישב בול במקום במקרן, אז כל הפריים קופץ כמה פיקסלים כל הזמן, ומעל זה יש את רעד הידיים של המצלמה.
• הוא נושם. החשיפה פועמת בין פריים לפריים, התמונה נעשית בהירה וכהה כמה פעמים בשנייה. זה מה שנקרא ריצוד.
• הוא מלוכלך. גרגרי אבק שמופיעים לפריים בודד, ושריטות אנכיות ארוכות שרצות לאורך הפילם.
• הוא מגורען. גרגר הפילם הוא גבישי כסף אמיתיים, ובהגדלה למסך גדול הוא נראה כמו רעש שזוחל.
• הוא רך. 8 מ״מ הוא פורמט זעיר, אין בו הרבה פרטים, והסריקה מטושטשת.
• הוא דהוי. הצבעים נשטפו עם השנים לכתום ירקרק עכור, השחורים נעשו אפרפרים וחלביים, והכול שטוח.
• הוא קופצני. הוא צולם בערך ב-18 פריימים לשנייה, והתנועה נראית מקוטעת לעין של היום.

השחזור הוא בעצם מרוץ שליחים של מומחים. כל אחד מרפא בדיוק מחלה אחת, ומעביר תמונה קצת יותר בריאה לבא בתור. הסדר קריטי, ותכף נראה למה.

הרעיון הראשון: לעבוד שוט אחרי שוט, לא פריים אחרי פריים

ההחלטה הכי חשובה במבנה הייתה לא לעבד את הסרט כרצועה אחת ארוכה. קודם חותכים אותו לשוטים, רצפים של פריימים בין חיתוכי סצנה, למשל מעבר מהטקס אל הקהל. בסרט שלי המזהה מצא 261 שוטים.

למה בכלל לטרוח? כי חלק מהתיקונים צריכים קודם למדוד את החומר, למשל כמה אפורים הצבעים בממוצע, או כמה חלביים השחורים, ורק אז להחיל תיקון אחד קבוע. אם מודדים על פני חיתוך סצנה, מערבבים שוט חוץ בהיר עם שוט פנים כהה, ומקבלים תיקון שגוי לשניהם. מדידה לכל שוט בנפרד נותנת לכל סצנה תיקון שתפור למידות שלה, ושומרת אותו קבוע בתוך השוט, כך ששום דבר לא מרצד. יש עוד סיבה: בהמשך אני ממציא פריימים חדשים באמצע כדי להחליק את התנועה, וזה קורה רק בתוך שוט. אם זה היה קורה על פני חיתוך, זה היה ממזג פנים של אדם לתוך קיר.

מרוץ השליחים: תשעה מומחים בשורה

בסוף בניתי צינור של תשעה שלבים, כל אחד עם תפקיד אחד ברור.

בואו נעבור עליהם אחד אחרי השני.

1. ייצוב: להחזיק את הפריים במקום

מבטלים את הרעד בשני מהלכים. קודם צופים בכל השוט ומודדים איך התמונה זזה מפריים לפריים, בלי לשנות עדיין כלום. אחר כך קוראים את המדידה, מחליקים אותה, ומזיזים כל פריים כדי לבטל את הקפיצה. הדבר העדין הוא כמה להחליק. השארתי חלון קטן בכוונה. חלון גדול מנסה לנעול את כל הסצנה בכוח, וזה נלחם בפאן ובהטיה שהמצלמה עשתה בכוונה, ומכריח זום פנימה מכוער כדי להסתיר את הקצוות השחורים שנכנסים לפריים. חלון קטן עושה את ההפך: הוא עוקב אחרי התנועה האמיתית של המצלמה, ומבטל רק את הרעד המהיר שרוכב עליה. ומכיוון שהתיקונים זעירים, ויתרתי לגמרי על זום מתקן, כדי לשמור על הקומפוזיציה המקורית בדיוק.

2. ריצוד: לעצור את הנשימה

עכשיו מייצבים את החשיפה. במעבר ראשון מודדים רק את הבהירות הממוצעת של כל פריים, מספר אחד לכל פריים. אז לוקחים ממוצע נע וחלק של העקומה הזאת. העקומה החלקה מייצגת איפה החשיפה אמורה להיות: שינויי אור אמיתיים ואיטיים, כמו מעבר לשמש, שורדים, והריצוד המהיר מתמסמס. במעבר שני מכפילים כל פריים בדיוק כמה שצריך כדי להחזיר אותו אל העקומה החלקה. שמתי גבול כמה מותר לתקן, כדי שפריים חריג אחד לא יתפוצץ, והתיקון נוגע רק בבהירות ולא בצבע.

3. אבק ושריטות: לנקות את הפילם

כאן נעזרתי בכלים ותיקים לשחזור פילם, מהסוג שנצבר לאורך עשרות שנים ונחשב לרף הזהב בתחום. שתי פעולות. הראשונה מסירה אבק בעזרת רעיון פשוט: גרגר אבק קיים רק בפריים אחד, אז אם משווים כל פיקסל לפריים שלפניו ולפריים שאחריו, ולוקחים את הערך האמצעי, האבק נזרק אוטומטית. הבעיה היא שזה היה מטשטש גם כל דבר שבאמת זז, אז מזהים את האזורים שבתנועה ומחזירים לתוכם את הפיקסלים המקוריים. אבק סטטי נעלם, נושא בתנועה נשאר חד. הפעולה השנייה מחפשת ספציפית את השריטות האנכיות הארוכות ומצביעה עליהן, בזהירות, כדי לא לפגוע במבנים אנכיים אמיתיים כמו משקוף או עמוד.

יש כאן כלל סדר חשוב: ניקוי האבק חייב לרוץ לפני הפחתת הרעש. מזהים אבק לפי כמה פיקסל שונה בין פריימים, והפחתת רעש מוחקת בדיוק את ההבדלים האלה. אם מפחיתים רעש קודם, האבק נעלם מהעין של מסיר האבק.

4. הפחתת רעש: להמיס את הגרגר

זה השלב הכי כבד, והסיבה ש-8 מ״מ יכול להיראות נקי כל כך אחר כך. הפחתת רעש נאיבית מטשטשת הכול והורסת פרטים. הטריק כאן נשען על תובנה: הגרגר אקראי בין פריים לפריים, אבל התמונה האמיתית לא. לחי של אדם נראית כמעט זהה בשלושה פריימים רצופים, אבל הגרגר עליה שונה בכל אחד. אז אם מצליחים למצע את אותה לחי לאורך כמה פריימים, הגרגר מתבטל והלחי נשארת. הקושי הוא שהלחי זזה, אז לפני המיצוע צריך לעקוב אחרי התנועה של כל בלוק קטן, ולמצע לאורך המסלול שלו. הרצתי את זה חזק, כי הגרגר של 8 מ״מ גס, וחשוב לא פחות, ניקיתי את הצבע חזק כמו את הבהירות, כי שלב מאוחר יותר מגביר את הרוויה, וכל שארית של גרגר צבעוני הייתה מתנפחת לרעש מכוער.

5. אור: להרים את הצעיף

לשחורים של פילם ישן אין שחור אמיתי, יש עליהם ערפל אפרפר שמשטח את התמונה. השלב הזה מרים את הצעיף, ועושה את זה בחוכמה, לכל שוט בנפרד. הוא מודד כמה כהה באמת השחור בכל שוט, ומרים רק כמה שצריך. שוט מעורפל נמדד גבוה ומקבל הרמה, שוט שבאמת כהה נמדד נמוך ולא נדחף. שני לקחים יצאו דווקא מהכיוונון של הסרט הזה. הראשון, למדוד רק את המרכז, כי לסריקות ישנות יש מסגרת שחורה לגמרי מסביב, ואם כוללים אותה, רצפת השחור נמדדת אפס ושום דבר לא עולה. השני, לא להרים יותר מדי. ההרמה האוטומטית המלאה נראתה אגרסיבית, וקצת יותר מחצי ממנה הייתה הנקודה המדויקת שפתחה את הצללים בלי להקשיח את התמונה. את הטון הזה הפרדתי בכוונה מהצבע, כדי שאפשר יהיה לכוון חשיפה בלי לגעת בגוון.

6. חידוד: להחזיר נשיכה, בזהירות

עכשיו שהתמונה נקייה, אפשר לחדד בבטחה. לחדד לפני הפחתת הרעש היה סתם מגביר גרגר, ולכן זה חיכה עד לכאן. שני מחדדים משלימים עובדים יחד: אחד עדין, שמחדד רק אזורים עם פרטים ומשאיר בשקט שטחים חלקים כמו עור ושמיים, ואחד קלאסי יותר שנותן עוד קצת נשיכה. מצאתי כאן תקרה ברורה. בכיוונון חזק מדי התחילו להופיע הילות, טבעות כהות סביב כל קצה חד, כמו מסגרת חלון שמצטיירת מאחורי ראש של מישהו. חידוד קלאסי תמיד מגיע לתקרה הזאת: מעבר לנקודה מסוימת הוא מפסיק להוסיף פרטים ומתחיל לצייר קווי מתאר. בחרתי את המקסימום הכן לחומר הזה, חד בבירור, בלי טבעות.

היה גם שלב של שדרוג רזולוציה מבוסס בינה מלאכותית, שיכול ללכת רחוק יותר בלי הילות בכלל, אבל בקצב של בערך שלוש עשרה שניות לפריים הוא היה לוקח בערך שישים שעות על הסרט הזה, אז השארתי אותו בחוץ בכוונה.

7. צבע: לבטל את הדהייה, לחמם

כאן זיכרון כתום ועכור הופך לסרט עם צבע אמיתי. ארבע שכבות, כולן נמדדות פעם אחת על כל השוט ומוחלות באותה צורה על כל פריים, כי הערכת צבע לכל פריים בנפרד הייתה מרצדת, וזה כלל ברזל. קודם מנטרלים את הגוון: מותחים כל ערוץ צבע בנפרד, כך שגוון אחיד, נניח יותר מדי כתום, נמשך ומתאזן. אחר כך איזון לבן, לפי ההנחה שבממוצע על פני סצנה שלמה העולם אפרפר בערך. אחר כך מנמיכים את הכחול, אבל רק בצללים, כי פילם ישן מגדל גוון כחול דווקא באזורים הכהים. ולבסוף מוזגים פנימה טבלת צבע חמה בסגנון קולנועי, והגברת רוויה עדינה, כדי שהצבעים ישירו.

יש כאן פינה הנדסית קטנה שאני אוהב. במקום לעשות חשבון על כל אחד ממיליוני הפיקסלים, מחשבים פעם אחת את התשובה לכל 256 ערכי הבהירות האפשריים, ומכניסים אותה לטבלה. אחר כך העבודה על כל פיקסל היא רק חיפוש מהיר בטבלה, בלי חשבון בכלל. פשוט, מדויק ומהיר.

8. החלקת תנועה: להמציא פריימים באמצע

פילם שצולם ב-18 פריימים לשנייה נראה קופצני על מסך מודרני. במקום פשוט להראות כל פריים פעמיים, ממציאים פריימים חדשים לגמרי באמצע. רשת נוירונים מקבלת שני פריימים רצופים, מנחשת לאן זז כל פיקסל ביניהם, ומייצרת את הפריים שהיה יושב בדיוק באמצע הדרך. כך 18 פריימים לשנייה הופכים ל-36, והתנועה זורמת. בגלל זה חילקנו קודם לשוטים: ממציאים פריים רק בתוך שוט, אז זה אף פעם לא מנסה למזג בין שתי סצנות.

9. גרגר: להחזיר את המרקם

זה השלב שמפתיע אנשים. אחרי שעבדתי כל כך קשה כדי להסיר גרגר, השלב האחרון מחזיר קצת ממנו. חומר מנוקה עד הסוף יכול להיראות שעוותי ודיגיטלי, קצת מוזר לפילם ישן. גרגר עדין, שמשתנה כל הזמן, מחזיר מרקם אורגני ומסתיר גם קצת פגמי דחיסה. המפתח הוא שהגרגר משתנה בכל פריים, בדיוק כמו בפילם אמיתי, ולא שכבה קבועה שנתקעת במקום, שהייתה נראית כמו לכלוך על המסך. הגרגר רץ אחרון, אחרי החלקת התנועה, כדי שיהיה חד בכל פריים סופי ולא יימרח.

למה הסדר כל כך חשוב

זה החלק שהכי לימד אותי. כל שלב לא רק עושה עבודה, הוא גם מכין את הקרקע לבא אחריו, ולפעמים מקלקל אותו אם הוא רץ בזמן הלא נכון. אבק לפני הפחתת רעש, אחרת האבק נעלם מהעין של מסיר האבק. הפחתת רעש לפני חידוד, אחרת מחדדים את הגרגר. חידוד לפני החזרת הגרגר. אור לפני צבע, כדי שאיזון הלבן ינחת על טון שכבר תוקן. וגרגר ממש בסוף. לכל סדר יש סיבה קונקרטית, ולא הסתמכתי על מזל.

כמה רעיונות הנדסיים ששווה לגנוב

מעבר למדע של התמונה, כמה דפוסי תוכנה עשו את כל זה יציב.

הראשון, מתכון אחד שמחזיק גם את הסדר וגם את כל הכפתורים בקובץ אחד. הקוד מחזיק תפריט קבוע של שלבים, והמתכון רק מרכיב אותם לפי שם ומכוון כל אחד. אי אפשר להמציא שלב שלא קיים, אבל אפשר לשנות סדר, לכוון מחדש ולהשמיט בחופשיות. כך כל שחזור שמור וניתן לשחזור מדויק בהמשך.

השני, עיבוד בזרימה. סרט באיכות גבוהה הוא ענק, ואי אפשר להחזיק בזיכרון כמעט שמונה עשרה אלף פריימים לא דחוסים. אז הקוד מבקש פריים אחד, מטפל בו, כותב את התוצאה וממשיך הלאה. הזיכרון נשאר שטוח, בין אם השוט הוא עשרה פריימים או עשרת אלפים.

השלישי, נפילה רכה. אם שלב כבד נכשל על שוט בעייתי, הוא פשוט מעתיק את הקלט שלו לפלט בלי אובדן ומדווח על הצלחה. שוט אחד מכוער יורד ל"לא מסונן" במקום להפיל ריצה שלמה של שעות.

התוצאה

בסוף, אחרי שכל 261 השוטים סיימו את המרוץ, הכול נתפר חזרה לסרטון אחד, בשתי גרסאות: אחת קטנה ואיכותית לצפייה, ואחת שמתנגנת בכל מקום לשיתוף. מרצועה מרצדת, שרוטה ודהויה בקופסת נעליים, יצא משהו שבאמת מתחשק לשבת ולראות.

הסרט הזה אינו יצירת מופת קולנועית, הוא בסך הכול בר מצווה של ילד לפני ארבעים שנה. אבל הוא של אחיי, ועכשיו אפשר לראות אותו שוב, נקי וחלק כמעט כמו ביום שצולם. את בר המצווה שלי אני עדיין מחפש.

רוצים לראות איך כל שלב נראה, שלב אחרי שלב, עם דוגמאות לפני ואחרי? המדריך החזותי המלא כאן: 8MM · a visual teaching guide.