3Blue1Brown
But what is a neural network? | Deep learning chapter 1
What are the neurons, why are there layers, and what is the math underlying it?
Help fund future projects: https://www.patreon.com/3blue1brown
Written/interactive form of this series: https://www.3blue1brown.com/topics/neural-networks
Additional funding for this project was provided by Amplify Partners
Typo correction: At 14 minutes 45 seconds, the last index on the bias vector is n, when it’s supposed to in fact be a k. Thanks for the sharp eyes that caught that!
For those who want to learn more, I highly recommend the book by Michael Nielsen introducing neural networks and deep learning: https://goo.gl/Zmczdy
There are two neat things about this book. First, it’s available for free, so consider joining me in making a donation to Nielsen if you get something out of it. And second, it’s centered around walking through some code and data which you can download yourself, and which covers the same example that I introduce in this video. Yay for active learning!
https://github.com/mnielsen/neural-networks-and-deep-learning
I also highly recommend Chris Olah’s blog: http://colah.github.io/
For more videos, Welch Labs also has some great series on machine learning:
For those of you looking to go *even* deeper, check out the text “Deep Learning” by Goodfellow, Bengio, and Courville.
Also, the publication Distill is just utterly beautiful: https://distill.pub/
Lion photo by Kevin Pluck
Звуковая дорожка на русском языке: Влад Бурмистров.
Thanks to these viewers for their contributions to translations
German: @fpgro
Hebrew: Omer Tuchfeld
Hungarian: Máté Kaszap
Italian: @teobucci, Teo Bucci
—————–
Timeline:
0:00 – Introduction example
1:07 – Series preview
2:42 – What are neurons?
3:35 – Introducing layers
5:31 – Why layers?
8:38 – Edge detection example
11:34 – Counting weights and biases
12:30 – How learning relates
13:26 – Notation and linear algebra
15:17 – Recap
16:27 – Some final words
17:03 – ReLU vs Sigmoid
Correction 14:45 – The final index on the bias vector should be “k”
——————
Animations largely made using manim, a scrappy open source python library. https://github.com/3b1b/manim
If you want to check it out, I feel compelled to warn you that it’s not the most well-documented tool, and has many other quirks you might expect in a library someone wrote with only their own use in mind.
Music by Vincent Rubinetti.
Download the music on Bandcamp:
https://vincerubinetti.bandcamp.com/album/the-music-of-3blue1brown
Stream the music on Spotify:
If you want to contribute translated subtitles or to help review those that have already been made by others and need approval, you can click the gear icon in the video and go to subtitles/cc, then “add subtitles/cc”. I really appreciate those who do this, as it helps make the lessons accessible to more people.
——————
3blue1brown is a channel about animating math, in all senses of the word animate. And you know the drill with YouTube, if you want to stay posted on new videos, subscribe, and click the bell to receive notifications (if you’re into that).
If you are new to this channel and want to see more, a good place to start is this playlist: http://3b1b.co/recommended
Various social media stuffs:
Website: https://www.3blue1brown.com
Twitter: https://twitter.com/3Blue1Brown
Patreon: https://patreon.com/3blue1brown
Facebook: https://www.facebook.com/3blue1brown
Reddit: https://www.reddit.com/r/3Blue1Brown
هذه هى ثلاثة, مكتوبة ومقدمة بإهمال وبدقة منخفضة جدا 28*28 بكسل ولكن عقلك لا يوجد لديه مشكلة في التعرف على أنها ثلاثة وأريد منك أن تأخذ لحظة لنقدر كيف أن عقلك يستطيع فعل هذا بكل سلاسة وبدون مجهود أعنى هذا وهذا وهذا يمكن أيضا التعرف عليهم على أنهم الرقم ثلاثة على الرغم من أن القيم المحددة لكل بكسل مختلفة جدا من صورة واحدة إلى أخرى الخلايا الحساسة للضوء في عينيك التى تعمل عندما ترى هذه الثلاثة تختلف كثيرا عن تلك التي تعمل عندما ترى تلك الثلاثة. ولكن شيئا في القشرة البصرية الذكية التي تمتلكها يحل هذا على أنه تقديم لنفس الفكرة وهى الرقم ثلاثة ولكنه بنفس الوقت يقوم بالتعرف على الصور الأخرى على أنها أفكار أخرى تختلف عن الرقم ثلاثة ولكن إذا قلت لك مهلا اجلس واكتب لى برنامجا تكون مدخلاته شبكة من 28 بكسل*28بكسل مثل هذا ومخرجاته رقم بين الصفر وال10 ويستطيع التوقع ماذا يكون هذا الرقم عندها تتحول المهمة من شيء غاية فى التفاهة لشئ صعب بطريقة مروعة إذا لم تكن تعيش فى العصر الحجرى فأعتقد أننى بالكاد أحتاج لتنبيهك للعلاقة الوثيقة للحاضر والمستقبل أيضا بعلم الشبكات العصبية وتعلم الآلة ولكن ما أريد فعله حقا هو توضيح لك ما هى الشبكات العصبية ؟ بافتراض عدم وجود خلفية مسبقة ومساعدتك لتخيل ماتفعله ليس كمصطلحات رنانة ولكن بلغة الرياضيات ما أتمناه أن تخرج من هنا وأنت تشعر أن الهيكل نفسه محفز وأن تشعر بأنك تعرف معنى ما تقرأ أو تسمع من اقتباسات عن الشبكات العصبية هذا الفيديو سيكون فقط مكرسا للهيكل المكون للشبكات العصبية أما الذى يليه فسيكون لمعالجة وتوضيح التعلم نفسه بالنسبة للشبكات العصبية ما نحن بصدد القيام به هو وضع شبكة عصبية للتعرف على الأرقام المكتوبة بخط اليد هذا مثال كلاسيكى لتقديم الموضوع وسأكون سعيدا بالتمسك به فى الوضع الراهن لأنه فى نهاية الفيديوهين أريد أن أشير لبعض المصادر الجيدة التى تستطيع التعلم منها أكثر والأماكن التى يمكنك من خلالها تحميل الكود الذى يقوم بذلك وتشغيله على جهاز الكمبيوتر الخاص بك هناك العديد والعديد من الأشكال المختلفة للشبكات العصبية وفى السنوات الأخيرة كان هناك نوع من الطفرة في البحث نحو هذه الأشكال ولكن في هذين الفيديوهين التمهيديين سنقوم أنا وأنت فقط بالنظر إلى شكل مبسط جدا بدون إضافات معقدة هذا ضروري نوعا ما لأجل فهم أي من الأشكال الأقوى والأحدث وصدقنى لازال لدينا الكثير من التعقيد لنحاول فهمه بعقولنا ولكن حتى فى هذا الشكل البسيط تستطيع الشبكة تعلم كيف تتعرف على الأرقام المكتوبة بخط اليد وهو شيء رائع جدا أن يكون جهاز الكمبيوتر قادرا على هذا فى الوقت نفسه سترى كيف أنها لا ترقى لبعض الآمال التى نضعها عليها كما يوحي اسمها الشبكات العصبية مستوحاة من الدماغ، ولكن دعنا نوضح ذلك أكثر ما هي الخلايا العصبية وبأي منطق ترتبط ببعضها البعض ؟ الآن عندما أقول الخلايا العصبية كل ما أريدك أن تفكر فيه هو شيء يحمل عددا رقم بين ال0 وال 1 تحديدا إنها حقا ليست شيئا أكثر من ذلك على سبيل المثال الشبكة تبدأ بحزمة من الخلايا تستجيب لكل مدخل من مدخلات صورة 28*28 بكسل الذي هو 784 خلية عصبية في المجموع كل واحد منها يحمل رقم يمثل قيمة التدرج الرمادى الذى تستجيب به كل بكسل تتراوح من 0 للبكسل السوداء وحتى 1 للبكسل البيضاء هذا الرقم داخل الخلية العصبية يسمى تفعيل والصورة التى يمكنك تخيلها بعقلك الآن هى أن كل خلية تضيء عندما يتم تفعيلها برقم ذي قيمة كبيرة لذلك هذه ال784 خلية عصبية تشكل الطبقة الأولى من الشبكة الآن بالنظر للطبقة الأخيرة فهى تمتلك عشر خلايا عصبية كل منها تشير لرقم من الأرقام تفعيل هذه الخلايا كما قلنا من قبل هو رقم بين الصفر والواحد يمثل لأى مدى تعتقد الشبكة أن الصورة المقدمة إليها تمثل هذا الرقم تحديدا هناك أيضا طبقتين فى المنتصف تسمى الطبقات المخفية والتي في الوقت الحاضر ستكون فقط علامة استفهام كبيرة إذا هل يجب أن يكون هناك علامة استفهام كبيرة كيف بحق الإله ستتم عملية التعرف على الأرقام هذه ؟! في هذه الشبكة اخترت طبقتين مخفيتين كل واحدة 16 خلية عصبية وأعترف أن هذا نوع من الاختيار التعسفي لنكون صادقين اخترت طبقتين بناء على لأي مدى أريد تحفيز الهيكل فى لحظة واحدة أما عن 16 ؟ فهذا فقط كان رقما جيدا ليلائم الشاشة أثناء التدريب 😀 عند التطبيق هناك الكثير من المتسع لتجربة هيكل معين هنا حيث تعمل الشبكة بالطريقة الآتية فتفعيل طبقة واحدة يؤدى إلى تحديد كيفية تفعيل الطبقة التي تليها وبالتأكيد فقلب الشبكة يمثل آلية معالجة المعلومات والذى يمثل بدقة الكيفية التى يكون بها تفعيل طبقة واحدة يسبب تفعيل الطبقة التي تليها من المفترض أن يكون هذا قريبا بعض الشيء للكيفية التي يؤدى فيها تفعيل بعض الخلايا العصبية البيولوجية لتفعيل بعض من الخلايا الأخرى الآن الشبكة التي أستعرضها هنا تم بالفعل تدريبها للتعرف على الأرقام ودعني أريك ما أعنيه بذلك هذا يعنى إذا قمت بتغذيتها بصورة معطى فيها كل قيم ال 784 خلية كمدخلات فإنه طبقا لقيمة تلك القيم يتم تحديد مدى سطوع كل بكسل فى الصورة هذا النمط من التفعيل يسبب نما محددا فى التفعيل للطبقة التي تليها والذى بدوره يسبب نمطا محددا آخر فى الطبقة التي تليها والذى فى النهاية يعطى نمطا ما فى الطبقة الخارجية والخلية الأكثر لمعانا تكون هى اختيار الشبكة لما تظنه يمثل الرقم الصحيح للصورة التى أدخلتها إليها وقبل الذهاب إلى الرياضيات وراء كيف أن طبقة واحدة تؤثر فى الطبقة التي تليها أو الكيفية التي يتم بها تدريب الشبكات دعنا فقط نوضح لماذا من المنطقي أن نتوقع من هيكل طبقي كهذا أن يتصرف بذكاء ما الذي نتوقعه هنا؟ ما هو أفضل توقع لما يمكن أن تفعله تلك الطبقات الوسطى؟ حسنا عندما نتعرف أنا وأنت على الأرقام فإننا نجمع معا بعض القطع مثلا ال9 تمتلك حلقة فى الأعلى وخط فى الأسفل إلى اليمين قليلا و 8 لديها أيضا حلقة أعلى، لكنه يقترن بحلقة أخرى فى الأسفل أما ال4 فهى أساسا تقسم إلى ثلاث خطوط كالتي بالشكل فى عالم مثالى ربما نأمل أن كل طبقة من الثانية وحتى الأخيرة تستجيب لواحدة من هذه المكونات نأمل أنه فى أى وقت تغذيها بصورة بها حلقة فى الأعلى مثل ال9 أو 8 هناك بعض الخلايا العصبية المحددة التى يكون تفعيلها قريبا من الواحد وأنا لا أعنى حلقة محددة من البكسلات فالأمل أن يكون أى نمط حلقى عام فى الأعلى قادر على تفعيل الخلايا العصبية بنفس الطريقة التى تتخذها للتعرف على الحلقة بهذه الطريقة وبمراقبة كيفية التفعيل من الطبقة الثالثة للطبقة الأخيرة للتعرف على أى مزيج من المكونات الفرعية يستجيب مع أى عدد بالطبع هناك بعض العقبات فى الطريق إذ كيف يمكنك التعرف على هذه المكونات الفرعية أو حتى تعلم أيها سيكون صحيحا وأنا لم أتحدث بعد عن الطريقة التى تؤثر بها الطبقة الواحدة بالطبقة الأخرى لكن جارني في هذا للحظة التعرف على حلقة يمكنه أن يقسم أيضا إلى عدة مشكلات صغيرة إحدى الطرق المعقولة للقيام بهذا هى أن تتعرف أولا على الحواف الصغيرة المختلفة التى تكونها بالمثل الخط الطويل كالذى ربما تراه فى الرقم 1 أو 4 أو 7 ليس سوى حافة طويلة أو ربما تفكر به على أنه نمط محدد من عدة حواف صغيرة متعددة لذا أملنا أنه ربما كل خلية عصبية فى الطبقة الثانية من الشبكة تستجيب مع مختلف الحواف الصغيرة ذات الصلة ربما عندما تغذى بصورة كهذه تقوم بتفعيل جميع الخلايا العصبية المرتبطة بحوالي ثمانية إلى عشرة حواف صغيرة محددة والتي بدورها تضيء الخلايا العصبية المرتبطة بالحلقة العليا والخط العمودي الطويل وهؤلاء يفعلون الخلية المرتبطة بالرقم 9 سواء كان ذلك ما تفعله الشبكة فعلا أو لا هو سؤال آخر .. سأعود إليه بمجرد أن نرى كيف يمكننا تدريب الشبكات ولكن هذا نوع ما من الأمل نوع من الهدف مع طبقات مهيكلة كهذه علاوة على ذلك يمكنك أن تتخيل كيف يمكن أن تكون القابلية لتحديد هذه الحواف والأنماط مفيدة فى مهمات أخرى للتعرف على الصور وخلاف التعرف على الصور هناك الكثير من الأشياء الذكية التى بإمكانك فعلها يمكن تقسميها إلى طبقات تجريدية تحليل الكلام على سبيل المثال ينطوي على أخذ الصوت الخام واختيار الأصوات المميزة التي تتحد لتكوين منهاج معينة والتي تتحد لتشكيل الكلمات التي تتضافر لتكوين العبارات والمزيد من الأفكار المجردة وغيرها بالعودة إلى كيفية عمل أى من هذا , تصور نفسك الآن تصمم كيف بالضبط أن تفعيل بعض الخلايا العصبية فى طبقة واحدة يؤثر على تفعيل الخلايا العصبية فى الطبقة التي تليها الهدف هو إيجاد آلية يمكنها تحديد الحواف فى البكسلات وتحويل الحواف إلى أنماط والأنماط إلى أرقام وللتركيز على مثال واحد دعونا نقول أننا نأمل أن واحدا معينا من الخلايا العصبية فى الطبقة الثانية لتحديد ما إذا كانت الصورة لديها حواف فى هذه المنطقة أو لا والسؤال المطروح هو ما هي المعاملات التي ينبغي أن تكون لدى الشبكة ما النقاط التى يجب عليك طرقها لكى تكون معبرة كفاية لإمساك النمط المطلوب أو أى نمط بكسلى آخر أو النمط الذى يحدد الحواف المختلفة التى تكون حلقة أو غيرها من الأشياء حسنا، ما سنفعله هو تعيين وزن لكل واحد من الروابط بين الخلية العصبية التى لدينا والخلايا العصبية من الطبقة الأولى هذه الأوزان هي فقط مجرد أرقام ثم تأخذ كل تلك التفعيلات من الطبقة الأولى وتحسب مجموعها طبقا لتلك المجموعات أجد أنه من المفيد أن تفكر فى هذه المجموعات على أنها منظمة على هيئة شبكات صغيرة خاصة بهم وسأستخدم بكسل خضراء للإشارة إلى الأوزان الموجبة والبكسل الأحمر للإشارة إلى الأوزان السالبة حيث سطوع هذا البكسل هو تصوير فضفاض لقيم الأوزان الآن إذا جعلنا كل الأوزان مرتبطة مع تقريبا كل البكسلات التى قيمتها بصفر باستثناء بعض الأوزان الإيجابية في هذه المنطقة التي نهتم بها ثم نأخذ الوزن المجموع كل قيم البكسل هى فقط كميات لإضافتها لقيم البكسل فى المنطقة التى نهتم بها وإن كنت تريد معرفة ما إذا كان هناك حافة هنا أو لا ربما عليك أن تمتلك بعض الاوزان السالبة مرتبطة بالبكسل المحيطة ثم يكون المجموع أكبر عندما تكون هذه البكسل فى المنتصف ساطعة ، ولكن البكسل المحيطة بها أكثر قتامة عند حساب وزن المجموع بهذه الطريقة يمكنك الحصول على أى عدد ولكن لهذه الشبكة ما نريده هو أن تكون للتفعيلات قيمة بين 0 وال 1 الشيء الشائع الذى نستخدمه هو تغذية دالة ما بهذا الوزن تلك الدالة تقوم بتحويل هذا العدد أيا كانت قيمته إلى قيمة بين الصفر والواحد هناك دالة شائعة تقوم بذلك بالفعل تسمى sigmoid وهى أيضا معروفة باسم logistic curve بالأساس أى مدخل عال في قيمته السالبة ينتهى به المطاف إلى الصفر وأى مدخل عال في قيمته الموجبة ينتهي به المطاف إلى الواحد وهى تزيد بطريقة طردية فقط حول النقطة صفر لذلك تفعيل الخلايا العصبية هنا هو بالأساس قياس للانحياز الموجب لوزن المجموع ولكن ربما لا تريد أن تضيء الخلية العصبية عندما يكون الوزن أكبر من 0 ربما كنت تريد فقط أن تكون نشطة عندما يكون الوزن أكبر من 10 أنك تريد أن تجعلها متحيزة قليلا لأن تكون غير نشطة ما ستفعله فقط هو إضافة رقم سالب لمجموع الأوزان مثل -10 قبل إدخالها إلى دالة ال sigmoid ويسمى هذا العدد الإضافي بالانحياز لذا فالأوزان تخبرك ما هو نمط البكسل الذى تتخذه الخلية العصبية فى الطبقة الثانية أما الانحياز فيخبرك القيمة التى يحتاج أن يكون عليها الوزن لكى تصبح الخلية العصبية نشطة وهذا كله فقط لخلية واحدة كل خلية عصبية أخرى فى هذه الطبقة ستكون مرتبطة بكل ال784 خلية عصبية الموجودة فى الطبقة الأولى ولكل ارتباط من هذه ال784 ارتباطات له وزنه الخاص المرتبط به أيضا لكل واحد انحياز ..رقم ما تضيفه للوزن قبل سحقه فى دالة الsigmoid وهذا كثير جدا لو فكرت به مليا فى هذه الطبقات المخفية يوجد 784 * 16 وزن جنبا إلى جنب مع 16 انحياز وكل ذلك هو مجرد اتصال من الطبقة الأولى إلى الثانية الروابط بين الطبقات الأخرى أيضا لديها أوزان وانحيازات بأخذ كل ذلك بعين الاعتبار هذه الشبكة تمتلك حوالى 13,000 وزن وانحياز 13,000 نقطة لتطرقها والطرق على تلك النقاط بشكل مختلف سيؤدى بالشبكة للتصرف بشكل مختلف لذلك عندما نتحدث عن التعلم ما يعنيه هذا هو جعل جهاز الكمبيوتر يجد وضع فعال لكل هذه الأرقام المتعددة بشرط أن يكون هذا الوضع فعلا يحل المشكلة المقدمة إليه شيء مرعب ومسلى أن تتخيل نفسك تجلس وتقوم بحساب كل تلك الأوزان والانحيازات باليد .. تقوم بتغيير وتبديل الأرقام لكى تقوم الطبقة الثانية بتحديد الحواف والثالثة بتحديد الأنماط إلخ أجد هذا مرضِِ على المستوى الشخصي بدلا من تخيل الشبكة كصندوق أسود كبير لأنه عندما لا تؤدى الشبكة وظيفتها بشكل جيد إذا كان لديك توقع عن ما تعنيه تلك الأنماط والأوزان فسيكون لديك نقطة تبدأ منها لتجريب كيفية تغيير الهيكل لتحسينه أو عندما تعمل الشبكة وتؤدى وظيفتها ولكن ليس للأسباب التى تتوقعها التعمق في ما تعنيه الأوزان والانحيازات هو طريقة جيدة لتحدى الفروض التي وضعتها وعرض كل الحلول الممكنة بالمناسبة أظن أن الدالة هنا صعبة قليلا فى الكتابة أليس كذلك ؟ لذا دعنى أريك طريقة أفضل لكتابة هذه الروابط بشكل أسهل ..هكذا ستراها إذا اخترت قراءة المزيد عن الشبكات العصبية قم بتنظيم كل التفعيلات فى الطبقة الواحدة لعمود كمتجه ثم تنظيم جميع الأوزان كمصفوفة حيث كل صف من تلك المصفوفة يتوافق مع وصلات بين طبقة واحدة وخلية عصبية معينة في الطبقة التالية مايعنيه هذا أخذ مجموع أوزان التفعيلات من الطبقة الأولى وهذه الأوزان تتوافق مع واحدة من من عناصر المصفوفة التى نراها هنا على اليسار بالمناسبة الكثير من تعلم الآلة له علاقة وثيقة بالجبر الخطي لذلك لأي شخص منكم يريد تصورا بصريا لطيفا لضرب المصفوفات بإمكانك أن تلقي نظرة على هذه السلسلة التى قدمتها فى الجبر الخطى وخاصة الفصل الثالث بالعودة إلى ما كنا نتحدث فيه بدلا من إضافة الانحياز لكل قيمة على حدى نقوم بتنظيم كل الانحيازات على هيئة متجه ونضيف هذا المتجه إلى حاصل الضرب السابق للمصفوفتين ثم كخطوة نهائية نضع sigmoid حولها بهذه الطريقة ومايفترض أن يقدمه هذا أنك تطبق الsigmoid على كل عنصر داخل المتجه الناتج لذلك بمجرد كتابة مصفوفة الوزن هذه وهذه المتجهات كرموز تستطيع ربط كل الانتقال من طبقة للطبقة الأخرى بتعبير بسيط وصغير وهذا يجعل الأوامر البرمجية أبسط وأكثر سرعة باعتبار أن كثير من المكتبات تقوم بتحسين شكل ضرب المصفوفات هل تذكر سابقا عندما قلنا أن الخلايا العصبية هى ببساطة أشياء تحمل أرقاما ؟ حسنا بالتأكيد الأرقام التى يحملونها تعتمد على الصورة التى تغذيهم بها لذا ربما تكون أكثر دقة لو فكرت بكل خلية عصبية على أنها دالة تأخذ المخرجات من جميع الخلايا العصبية فى الطبقة السابقة وتظهرها على أنها رقم بين الصفر والواحد فى الحقيقة الشبكة بالكامل هى أيضا دالة تأخذ 784 كمدخل وتخرج 10 أرقام كمخرجات إنها معقدة قليلا لدرجة أن لديها 13,000 معامل على شكل أوزان وانحيازات تتشكل بأنماط معينة والتى تتضمن تكرار الكثير من ضرب المصفوفات ثم سحق الرقم فى دالة الsigmoid ولكنها مجرد دالة فى النهاية وبطريقة ما إنه شيء مطمئن أنها تبدو معقدة أعنى لو كانت أبسط لما كان سيكون لدينا أمل فى أن تتغلب على تحدى التعرف على الأرقام أليس كذلك ؟ ولكن كيف تتعلم هذه الشبكة؟ كيف تعرف الأوزان والانحيازات المناسبة فقط بالنظر للبيانات التى لديها ؟ هذا ما سأريه لك فى الفيديو القادم كما سنتعمق قليلا فيما تفعله تلك الشبكات على أرض الواقع الآن هو الوقت الذى أقول فيه اشترك فى القناة وما إلى ذلك لتبقا متطلعا على الفيديوهات الجديدة ولكن الواقع أن معظمكم لا يتلقون إشعارات من يوتوب فعلا، أليس كذلك؟ ربما يجب أن أقول اشترك حتى تستطيع الشبكات العصبية لليوتيوب التصديق بأنك تريد رؤية فيديوهات من هذه القناة وبالتالى ترشيحها لك على أى حال ابق مستعدا للمزيد شكرا جزيلا للجميع على دعم هذه أشرطة الفيديو على باترون لقد كان قليلا بطيئا للتقدم في سلسلة الاحتمالات هذا الصيف ولكن أنا سأعود إليها مرة أخرى في ذلك بعد هذا المشروع حتى ذلك يمكنك البحث عن التحديثات هناك وللإنهاء هنا لدى هنا ليشا لى التى قامت بتأدية الدكتوراه فى الجانب النظرى من التعلم العميق والتى تعمل حاليا فى شركة استثمارية تسمى amplify partners الذين تقدموا بتقديم بعض التمويل لهذا الفيديو لذا ليشا شئ ما أعتقد أنه يجب أن نذكره بسرعة هنا هو هذه الsigmoid function كما فهمت لقد استخدمت قديما لسحق الأرقام إلى رقم ما بين الصفر والواحد محفزة نوعا ما بالخلايا العصبية الحقيقية التى إما تكون مفعلة أو غير مفعلة -بالضبط * لكن الشبكات العصبية الحديثة لاتستخدمها بعد الآن هذا نوع من المدارس القديمة أليس كذلك ؟ – نعم Relu يبدو أسهل بكثير وRelu هو اختصار ل Really stands for rectified linear unit نعم إنها نوع من الدوال حيث تأخذ فقط القيمة الأكبر من ال a هى المفعلة والأقل تكون غير مفعلة كما كنت تشرح فى الفيديو وهى مستوحاة أيضا جزئيا من قبل البيولوجية الخلايا العصبية إما أن يتم تفعيلها أو لا، إذا مرت بعتبة معينة أو لا فإذا مرت تصبح مفعلة وإذا لم تمر تصبح غير مفعلة استخدام sigmoid جعل من الصعب جدا تدريبها أما Relu فهى أسهل فى التدريب شكرا ليشا
#neural #network #Deep #learning #chapter
source
Now I am comfortable in Hindi language.
how can it be so easy but complicated?
i can hear it in hindi , is it same for everyone ?
Best explanation ever. Plain best.
thank you❤
The matrix has typos. n and k are wrong. Check 15:59
Thats the best explanation I have seen
Nice 👍
On 15:02 should be b0 to bk not bn
15:16 – code snippet of how feed forward might look like in Python
just amazing
14:40 Is there a mistake in the order of bias vector? It should be ranging from b_0 to b_k as there are k+1 neurons in the next layer. You can verify it by comparing it with the final order of the multiplied matrix which is (k+1) x 1.
Salute to you for your simplicity, deep explanations, highly suitable and visualizing animations, lessons structure, proper wording and great teaching language. I can't explain the addition you does in the way of deep learning. Very much confident and clear to the knowledge in Deep learning and Maths associated with that.
best video ever.
FYI, our instructor at IISER-Mohali officially recommends watching your videos as part of the coursework on Machine Learning
God created universe and everything, blesses people in world.
Our vision is a miracle of God, not an evolution process.
Military classified of neural networks are hard, soft work is like Las Vegas.
3Blue1Brown’s explanation of neural networks isn’t just teaching—it’s pure intuition brought to life, making even the hardest concepts feel natural. Huge respect for that! 🙌
Hi, I know near zero about ML, algorithms etc.
Only thing that worries me, is that IF the humans that makes algorithms and provide datasets, have mental heath issues, we are going to produce a crazy machine that learns to be even more crazy.
Such superbly done video.
Que bien explicación ❤
"Якщо мигдаль став молоком …" чудовий вислів.
I love when you expect a neural network to learn the way humans do, but it ends up learning in ways we would never think about
great, simple clear. many thanks from Chile.
10:04 這邊不太懂，如果圖片中暗像素代表0(第一層的圖片像素Activation範圍是0-1)，即使給予負權重，0乘上任何數依然是0，為何可以得到最大的加權總合呢？
然後我也很好奇層數跟每層需要有多少個神經元是如何決定的，希望之後章節會介紹到~
(影片為了示範需要設定為兩層跟每層16個)
I took an AI NN class for my early 90's CS degree in college and honestly I understand the concepts better now watching this video! Watching like this and then digging into the math and algos is the way. Well done.
Omagad 😅, actually i didn't understand but thank you for adding my voice in the end (russian dub) ❤
At 14:48, shouldn’t the bias matrix be from b0 to bk instead of b0 to bn? Just confused a little..
i love how my real life eye is 3 brown 1 blue, just reverse of you ahahahhaa