הגבתם HERMI? הנה הלינק שהבטחתי: המדריך המלא לבניית עוזר קולי אישי בעברית, עם פרומפט פתיחה מוכן ופרויקט קוד פתוח.

מה זה בכלל JARVIS

זה הכינוי שדבק לסוג הזה של עוזרים הקוליים/ויזואליים:
עוזר אישי שיושב לכם על השרת, שומע אתכם בקול, ופועל בשמכם מול הכלים שאתם משתמשים בהם כל יום - במקום להקליד.

ומי זה HERMI

גרסה כזו, בעברית, שבניתי לעצמי. קראתי לו HERMI, והוא רץ על Hermes, הסוכן האישי שלי. אתם שואלים אותו בקול, הוא עונה בקול, ואתם רואים על המסך בדיוק מה הוא עושה בזמן אמת.

איך זה עובד

אין הקלדה, אף פעם. אתם אומרים משפט אחד, המוח מנתב את המשימה לכלי הנכון, והתשובה חוזרת בקול תוך שניות.

המוח מתחלף

זה הרכיב שהכי קל לטעות לגביו: אין "המוח היחיד שעובד". אצלי זה הרמס, אבל זה יכול להיות באותה מידה קלוד או GPT - כל סוכן שיודע להפעיל כלים ולעקוב אחרי הוראות. העבודה האמיתית אינה בבחירת המוח. היא בחיבור שלו לכלים ולקול.

הקול: ElevenLabs

גם הקלט וגם הפלט. מה שאתם אומרים בדפדפן עובר תמלול (Speech-to-Text) דרך ElevenLabs, והתשובה חוזרת כקול טבעי (Text-to-Speech), גם הוא דרך ElevenLabs, בעברית. זה גם צוואר הבקבוק הכי כואב בפרויקט - על זה בהמשך.

מה קורה ביומיום?

  • עונה על שאלות יומן ומייל משני חשבונות Google, ושואל לאיזה חשבון הכוונה כשלא ברור
  • מחפש קבצים בדרייב
  • מתחבר לכל אפליקציה נוספת שאפשר לחבר (Notion, Canva, Instagram...) בלי שינוי קוד
  • הפעלה קולית ללא לחיצה על כפתור ("היי הרמי")
  • סוגר פגישות ביומן

3 בעיות אמיתיות שפתרתי

זה לא באמת "בונים תוך 15 דקות". ככה זה נראה בפועל:

1. התמלול היה איטי ולא יציב.

זמן תגובה של STT ידע לקפוץ בין חצי שנייה ל-10+ שניות, על אותה בקשה בדיוק. הפתרון: שולחים כמה עותקים של אותה הקלטה במקביל (עם דיליי קצר ביניהם), והראשון שחוזר מנצח. זה הוריד כישלונות תמלול מ-7 מתוך 10 בקשות ל-1 מתוך 10.

2. שאלות על מייל/יומן לקחו 35–90 שניות.

הסוכן היה "מגלה" בעצמו איך לגשת לכלי בכל פעם מחדש. הפתרון: נתיב ישיר וקבוע לכלים שמשתמשים בהם הרבה, בלי שלב גילוי. זה הוריד את הזמן ל-8–10 שניות.

3. כלי חדש שמתחבר לא עבד אוטומטית.

הסוכן ניסה "לחפש" איך להשתמש בו, וזה היה איטי. הפתרון: כלל כללי שאומר לסוכן — לכל כלי שמחובר, תיגש ישירות, בלי סקילים ובלי חיפוש.

ממה זה בנוי

ארבעה רכיבים שמתחברים יחד:

ותוסיפו עוד פיצ׳רים שבא לכם.

רוצים להתחיל לבנות?

את הפרטים הספציפיים של HERMES (מזהי חשבונות, כתובת השרת והפרומפטים המדויקים)
אני לא משתף כאן, אבל אתם לא צריכים אותם. הנה פרומפט פתיחה: תדביקו אותו בקלוד או ב-GPT, והוא יבנה לכם עוזר כזה על בסיס פרויקט הקוד הפתוח, בלי להמציא ארכיטקטורה מאפס.

הפרופמט להעתקה:

אני רוצה עוזר קולי אישי בסגנון JARVIS, בעברית, שירוץ על המחשב שלי. תשתמש בפרויקט הקוד הפתוח הזה כבסיס. אל תמציא ארכיטקטורה מאפס: https://github.com/PersonalJarvis/PersonalJarvis קרא את ה-README שלו, התקן אותו לפי הוראות ההתקנה, ואז תתאים אותו אלי, צעד אחרי צעד: 1. קול: עברית בשני הכיוונים. תמלול של מה שאני אומר, ותשובה בקול טבעי בעברית. תגדיר גם מילת התעוררות בעברית. 2. מוח: תחבר את המודל שיש לי (Claude / GPT / מודל מקומי). תשאיר אפשרות להחליף מוח בלי לגעת בשאר. 3. כלים: תחבר את Gmail ואת Google Calendar (ב-MCP או בכל דרך שהפרויקט תומך בה), כדי שאוכל לשאול בקול על מיילים ופגישות ולקבל תשובה בקול. 4. הרצה: מקומית על המחשב, בלי שרת חיצוני ובלי חשבון בענן. תעדיף אפשרויות חינמיות איפה שאפשר. 5. אבטחה: אל תחשוף מפתחות API בשום שלב - לא בצ'אט, לא בקוד ולא בלוגים. מפתחות נשמרים בקובץ env מקומי בלבד. תוביל אותי שלב אחרי שלב. תשאל אותי רק מה שאתה באמת חייב: מפתחות API וחיבורי חשבונות. בסוף תוודא איתי שהכל עובד מקול לקול.

רישיון Apache 2.0, פעיל מאוד, ורץ על Windows, macOS ו-Linux.