חלק מהמחיר של הרצת רשת עצבית נובע מהובלת מספרים הלוך ושוב בין הזיכרון למעבד. מחשוב בתוך הזיכרון מבקש לבצע לפחות חלק מהפעולות במקום שבו המספרים נשמרים. זו בחירה בארכיטקטורה, ולא סוג מסוים של זיכרון: אפשר לממש אותה בדרכים דיגיטליות או אנלוגיות.
במערך אנלוגי, למשל, מוליכות של תאים מייצגת משקלים. מתחים מייצגים קלט, והזרמים המתקבלים מצטברים לפי חוקי המעגל החשמלי. כך החומר מבצע פעולה הדומה לכפל מטריצה בווקטור, מרכיב מרכזי ברשתות עצביות. מחקרי IBM משתמשים בין היתר בזיכרון שינוי מופע, שבו מצב החומר משפיע על תכונותיו החשמליות.
החיסכון האפשרי בתנועת מידע חשוב למאיצי AI ולמכשירים מוגבלי אנרגיה. אבל עדיין צריך להזין נתונים, להמיר אותות ולבצע פעולות שהמערך אינו מטפל בהן. רעש, סטייה בין תאים ודיוק מספרי משפיעים על התוצאה. לכן בוחנים מערכת שלמה ומשימה מוגדרת, ולא רק פעולה מרשימה בתא בודד. הקשר לממְריסטורים הדוק, אך המושגים אינם זהים: רכיב זיכרון הוא אבן בניין; מחשוב בתוך הזיכרון מתאר כיצד משתמשים בה.