ورکشاپ آموزشی - آیسی مدار
رفتن به محتوا

دوربین ردیاب هوشمند با هوش مصنوعی و برد ESP32

رباتیک و هوشمندسازی
۰ نظر
۹۵ نفر
کد ۴۳۰۷

تا حالا به این فکر کردی که چطور می‌تونی یه دوربین هوشمند بسازی که بتونه چهره، دست یا اشیاء رو تشخیص بده و خودش به صورت اتوماتیک دنبالشون کنه؟ تو این پروژه از آیسی‌مدار می‌خوایم دقیقا همین کار رو بکنیم. با ترکیب یه ماژول خفن هوش مصنوعی و برد ESP32، یه دوربین ردیاب حرکتی می‌سازیم که بدون نیاز به کامپیوتر یا اینترنت، می‌تونه دنیای اطرافش رو ببینه و تحلیل کنه.

این سیستم که به عنوان ردیاب ویژن (Vision Tracker) شناخته میشه، روی یه پایه متحرک (Pan-Tilt) سوار میشه. وقتی دوربین هدفی رو پیدا می‌کنه، با پردازش لحظه‌ای مختصاتش رو به میکروکنترلر می‌فرسته تا سرووموتورها رو بچرخونه و هدف رو همیشه تو مرکز تصویر نگه داره. از این ایده می‌تونی تو ساخت ربات‌های تعاملی، سیستم‌های امنیتی پیشرفته یا حتی پایه‌های هوشمند دوربین استفاده کنی.

پس قطعاتت رو آماده کن تا با هم این گجت بی‌نظیر و مبتنی بر هوش مصنوعی رو قدم به قدم جمع کنیم. بریم سراغ ساخت!

  1. سیستم‌های نظارتی و امنیتی هوشمند
  2. ربات‌های تعاملی و هوشمند
  3. دوربین‌های ردیاب اتوماتیک برای تولید محتوا
  4. برجک‌های متحرک مبتنی بر هوش مصنوعی
  5. تجهیزات آموزشی هوشمند برای کلاس و آزمایشگاه
مرحله ۱

ماژول هوش مصنوعی HuskyLens V2 و ویژگی‌ها

ماژول HuskyLens V2 یه سنسور بینایی تعبیه‌شده خفنه که برای پروژه‌های نیازمند پردازش تصویر لحظه‌ای طراحی شده. برخلاف دوربین‌های معمولی که فقط تصویر رو ضبط می‌کنن، این ماژول تمام پردازش‌های هوش مصنوعی رو روی خودش انجام میده و اصلا نیازی به کامپیوتر خارجی یا اتصال ابری نداره.

مشخصات فنی کلیدی ماژول

  1. پردازنده دو هسته‌ای Kendryte K230 – برای شتاب‌دهی هوش مصنوعی و اجرای سریع پردازش‌ها روی لبه (Edge).
  2. 1 گیگابایت حافظه رم LPDDR4 – تضمین‌کننده اجرای روان مدل‌ها و پردازش آنی.
  3. 8 گیگابایت حافظه داخلی eMMC 5.1 – برای ذخیره مدل‌ها، تنظیمات و لاگ‌ها بدون نیاز به کارت حافظه خارجی.
  4. سنسور دوربین 2 مگاپیکسلی – ضبط تصاویر با کیفیت بالا و بهینه‌شده برای تشخیص هوش مصنوعی.
  5. بیش از 20 مدل هوش مصنوعی آماده – الگوریتم‌های آماده به کار بینایی ماشین شامل:
  6. تشخیص و شناسایی چهره
  7. ردیابی اشیاء مختلف
  8. تشخیص ژست‌های حرکتی دست
  9. تخمین و تشخیص حالت بدن
  10. تشخیص رنگ‌های خاص
  11. شناسایی برچسب‌ها و تگ‌ها
  12. پشتیبانی از مدل‌های اختصاصی – قابلیت آموزش دادن مدل هوش مصنوعی خودت و اجرای مستقیم اون روی دستگاه.
  13. نمایشگر لمسی تعاملی – یک صفحه نمایش لمسی 2.4 اینچی برای پیکربندی راحت و دیدن نتیجه کار به صورت زنده.
  14. رابط‌های ارتباطی مختلف – دارای پورت USB-C برای اتصال مستقیم و رابط‌های UART و I2C برای ارتباط با میکروکنترلرها، به همراه پشتیبانی از ماژول وای‌فای.

وقتی یه هدف (مثل چهره یا شیء) تشخیص داده میشه، ماژول مختصات دقیق X و Y رو نسبت به مرکز کادر محاسبه می‌کنه. این دیتا رو میشه از طریق پروتکل UART یا I2C به میکروکنترلری مثل ESP32-C6 فرستاد. با این کار می‌تونیم حرکت سیستم رو تو لحظه کنترل کنیم و این دقیقا همون چیزیه که برای مکانیزم متحرک دوربینمون (Pan-Tilt) بهش نیاز داریم.

مرحله ۲

طراحی و چاپ سه‌بعدی پایه متحرک (Pan-Tilt)

برای اینکه سیستم ردیاب ما جمع‌وجور و تمیز دربیاد، کل مکانیزم متحرک رو توی نرم‌افزار Fusion 360 طراحی کردم. تو این طراحی، تمرکز اصلی روی پایداری، توزیع مناسب وزن و مونتاژ راحت بوده تا سیم‌ها به خوبی داخل ساختار مخفی بشن. این مکانیزم چهار بخش اصلی داره: بخش اول: پایه موتور چرخش افقی (Pan)

  1. این قطعه سرووموتور چرخش افقی رو محکم سر جاش نگه می‌داره. تراز بودن این بخش باعث میشه کل سیستم بدون لرزش و خیلی نرم بچرخه.

بخش دوم: بیس متحرک افقی

  1. این قطعه مستقیما به بازوی موتور افقی وصل میشه و همراهش می‌چرخه. علاوه بر این، جایگاهی هم برای نصب موتور عمودی (Tilt) داره تا محور دوم حرکتی ما شکل بگیره.

بخش سوم: محفظه پایینی که در واقع پایه ساختاری کل سیستمه و چند تا کار مهم انجام میده:

  1. برد ESP32-C6 رو داخلش جا میده.
  2. موتور چرخش افقی رو محکم نگه می‌داره.
  3. فضای داخلی خوبی برای مدیریت سیم‌ها و مخفی کردنشون داره.
  4. یه برش دقیق برای پورت Type-C برد در نظر گرفته شده تا راحت بتونیم برنامه‌ریزی و برق‌رسانیش رو انجام بدیم.

بخش چهارم: بازوی عمودی (Tilt) که خودش از دو قسمت تشکیل شده:

  1. مستقیما روی بازوی سرووموتور عمودی نصب میشه.
  2. قسمت بالایی هم دوربین رو با دو تا پیچ محکم نگه می‌داره.

این ساختار باعث میشه دوربین حین حرکت عمودی کاملا پایدار بمونه. تمام این قطعات با استفاده از فیلامنت مشکی PLA چاپ شدن. تو می‌تونی:

  1. فایل‌های آماده STL رو دانلود کنی و خودت پرینت بگیری.
  2. یا فایل اصلی رو تو نرم‌افزار باز کنی و ابعادش رو با توجه به سرووموتورهایی که داری شخصی‌سازی کنی.
مرحله ۳

مونتاژ سرووموتور محور افقی (Pan)

  1. قطعه اول پرینت‌شده (پایه موتور Pan) و یکی از سرووموتورها رو بردار.
  2. پیچ‌های کوچیک رو از روی بدنه سروو باز کن.
  3. موتور رو داخل قطعه قرار بده تا کاملا تو شیارش بشینه.
  4. پیچ‌های بدنه سروو رو دوباره ببند تا محکم بشه.
  5. حالا با چهار تا پیچ، موتور رو به قطعه پرینت‌شده سفت کن.
  6. در نهایت چک کن که موتور کاملا تراز باشه و داخل پایه‌ش لق نزنه.
مرحله ۴

سیم‌کشی و اتصالات الکترونیکی بین قطعات

حالا وقتشه که قطعات رو طبق نقشه به هم وصل کنیم. 1. اتصالات سرووموتورها (افقی و عمودی): هر دو موتور سه تا سیم دارن:

  1. سیم قرمز: تغذیه (5 ولت یا VIN)
  2. سیم مشکی یا قهوه‌ای: زمین (GND)
  3. سیم زرد یا نارنجی: سیگنال

اتصالات سروو موتور افقی (Pan):

  1. سیم سیگنال به پین GPIO 5 روی برد ESP32-C6
  2. سیم تغذیه به VIN
  3. سیم زمین به GND

اتصالات سروو موتور عمودی (Tilt):

  1. سیم سیگنال به پین GPIO 4 روی برد ESP32-C6
  2. سیم تغذیه به VIN
  3. سیم زمین به GND

یه نکته خیلی مهم: حواست باشه که پایه‌های GND برد ESP32، هر دو موتور و ماژول دوربین باید به هم متصل بشن. 2. اتصال دوربین (تو حالت I2C): اول روی خود ماژول این تنظیمات رو انجام بده:

  1. برو تو بخش تنظیمات (Settings) و بعد Protocol Type.
  2. گزینه I2C رو انتخاب کن.

حالا با استفاده از کابل 4 پین مخصوص، دوربین رو به برد وصل کن:

  1. سیم سبز (SDA) به پین GPIO 19
  2. سیم آبی (SCL) به پین GPIO 20
  3. سیم قرمز به VIN
  4. سیم مشکی به GND

3. بخش تأمین برق مدار:

  1. برد ESP32 می‌تونه مستقیما با همون پورت Type-C روشن بشه.
  2. پین VIN هم برق موتورها و دوربین رو تأمین می‌کنه.

اگه از موتورهای قوی با گشتاور بالا استفاده می‌کنی، بهتره یه منبع تغذیه 5 ولت خارجی براشون در نظر بگیری تا مدارت افت ولتاژ پیدا نکنه. قبل از اینکه قاب‌ها رو ببندی، حتما همه سیم‌ها رو از شکاف قطعه سوم رد کن.

  1. برد ESP32 رو تو جایگاه مخصوصش تو قطعه سوم قرار بده.
  2. پورت Type-C رو دقیقا روبروی سوراخ بدنه تنظیم کن.
  3. با دو تا پیچ کوچیک M2، برد رو سر جاش محکم کن.
مرحله ۵

کالیبره کردن موتورها و بستن قاب پایینی

1. کالیبره کردن موتورها: قبل از اینکه قطعات متحرک رو مونتاژ کنیم، اول باید هر دو موتور رو روی زاویه مرکز تنظیم کنیم.

  1. برد رو با کابل به سیستم وصل کن.
  2. نرم‌افزار آردوینو (یا هر محیط دیگه‌ای که راحتی) رو باز کن.
  3. کد راه‌اندازی اولیه موتورها رو روش آپلود کن.
Arduino
#include <ESP32Servo.h>
Servo tiltServo;
Servo panServo;
#define TILT_PIN 4
#define PAN_PIN 5
void setup() {
Serial.begin(115200);
// Attach servos
tiltServo.attach(TILT_PIN);
panServo.attach(PAN_PIN);
// Move both servos to center (90°)
tiltServo.write(90);
panServo.write(90);
Serial.println("Servos moved to center position (90 degrees)");
}
void loop() {
// Nothing here — servos stay centered
}

این کد، هر دو موتور افقی و عمودی رو به زاویه مرکز حرکت میده. حواست باشه که این مرحله خیلی مهمه! اگه موتورها رو قبل از مونتاژ کالیبره نکنی، ممکنه بعد از بستن قطعات، محدوده حرکتی‌شون به هم بریزه یا به پایه‌ها فشار بیاد. صبر کن تا موتورها کاملا تو نقطه وسط قرار بگیرن. 2. نصب محفظه پایینی (قطعه سوم):

  1. قطعه پایینی رو بردار.
  2. سیم‌ها رو با دقت داخلش مرتب کن تا جایی گیر نکنن.
  3. این قطعه رو روی مجموعه موتور چرخش افقی جا بزن.

حتما چک کن که:

  1. قسمت‌های باز موتور کاملا پوشونده بشه.
  2. قاب بدون له کردن سیم‌ها کاملا کیپ بشه.
  3. پورت Type-C کاملا تو بریدگی خودش تراز باشه.

وقتی قاب به درستی جا رفت، ساختار پایه تکمیل میشه و می‌تونیم بریم سراغ مونتاژ بازوی عمودی تو مرحله بعد.

مرحله ۶

نصب سرووموتور حرکت عمودی (Tilt)

1. نصب موتور روی پایه:

  1. قطعه دوم (بیس متحرک افقی با جایگاه نصب) رو بردار.
  2. سرووموتور عمودی رو داخل شکاف مخصوصش قرار بده.
  3. با چهار تا پیچ، موتور رو حسابی محکم کن.

2. اتصال پایه به موتور افقی:

  1. پایه‌ای که الان موتور عمودی روشه رو بردار.
  2. اون رو دقیقا روی بازوی متصل به موتور افقی تنظیم کن.
  3. با احتیاط روی شفت موتور جا بزن.
مرحله ۷

مونتاژ بازوی نگهدارنده دوربین

1. نصب اهرم روی بازو:

  1. بخش اصلی بازوی عمودی رو بردار.
  2. اهرم دایره‌ای سرووموتور رو داخل شکاف تعبیه‌شده قرار بده.
  3. با دو تا پیچ، اهرم رو محکم کن تا اصلا لق نزنه.
  4. دقت کن که اهرم کاملا صاف بشینه.

2. اتصال بازو به موتور عمودی:

  1. مطمئن شو که موتور عمودی هنوز تو زاویه مرکز (90 درجه) قرار داره.
  2. بازو رو با شفت موتور هم‌راستا کن.
  3. با دقت اون رو روی هزارخار شفت موتور جا بزن.
  4. پیچ مرکزی رو ببند تا بازو کاملا قفل بشه.

یادت نره بازو رو قبل از سفت کردن پیچ کاملا صاف نگه داری تا دامنه حرکتی متعادلی داشته باشی. 3. اتصال بخش دوم بازو:

  1. تیکه دوم بازوی عمودی رو بردار.
  2. اون رو با قسمتی که الان روی موتور نصب کردی تراز کن.
  3. با دو تا پیچ، این دو قسمت رو طبق عکس‌ها به هم وصل کن.

وقتی پیچ‌ها رو بستی، بازو رو با دستت یه کم تکون بده تا مطمئن بشی حرکت عمودیش نرمه و جایی گیر نمی‌کنه. الان مکانیزم حرکتی کاملا آماده‌ست تا دوربین رو روش سوار کنیم.

مرحله ۸

نصب دوربین HuskyLens روی پایه متحرک

1. وصل کردن کابل ارتباطی:

  1. کابل I2C که از برد ESP32 کشیدی رو بردار.
  2. اون رو به پورت دوربین وصل کن.
  3. مطمئن شو که سوکت کاملا جا رفته و محکم شده.
  4. کابل رو طوری مسیردهی کن که موقع حرکت‌های دوربین، مانعی ایجاد نکنه و کشیده نشه.

2. نصب فیزیکی دوربین روی پایه:

  1. دوربین رو روی سوراخ‌های بالایی بازو قرار بده.
  2. سوراخ‌های دوربین و پایه رو دقیقا تراز کن.
  3. دو تا پیچ M3 رو از توی براکت رد کن.
  4. پیچ‌ها رو محکم کن، ولی مراقب باش بیش از حد سفت نکنی که به بدنه دوربین فشار نیاد.
مرحله ۹

آپلود کدهای ردیابی روی برد ESP32

1. آپلود کدهای اصلی برنامه‌نویسی:

  1. نرم‌افزار آردوینو رو تو سیستم باز کن.
  2. کدهای ردیابی رو تو یه فایل جدید کپی کن.
  3. از منوی Tools بخش Board، گزینه Beetle ESP32-C6 رو انتخاب کن.
  4. پورت درست رو از منوی Port انتخاب کن.
  5. دکمه آپلود رو بزن.
Arduino
#include <Wire.h>
#include "DFRobot_HuskylensV2.h"
#include <ESP32Servo.h>
HuskylensV2 huskylens;
// Servo objects
Servo tiltServo;
Servo panServo;
// Servo pins
#define TILT_PIN 4
#define PAN_PIN 5
// Camera resolution (HuskyLens default)
#define FRAME_WIDTH 320
#define FRAME_HEIGHT 240
// Current servo angles
int panAngle = 90;
int tiltAngle = 90;
// Tuning (adjust if movement too fast/slow)
float panGain = 0.05;
float tiltGain = 0.05;
void setup() {
Serial.begin(115200);
Wire.begin();
// Attach servos
tiltServo.attach(TILT_PIN);
panServo.attach(PAN_PIN);
// Center servos initially
tiltServo.write(tiltAngle);
panServo.write(panAngle);
while (!huskylens.begin(Wire)) {
Serial.println("HuskyLens Begin failed!");
delay(100);
}
huskylens.switchAlgorithm(ALGORITHM_FACE_RECOGNITION);
delay(2000);
}
void loop() {
if (huskylens.getResult(ALGORITHM_ANY)) {
while (huskylens.available(ALGORITHM_ANY)) {
Result *result =
static_cast<Result *>(huskylens.popCachedResult(ALGORITHM_ANY));
int x = result->xCenter;
int y = result->yCenter;
Serial.print("Face Center: ");
Serial.print(x);
Serial.print(", ");
Serial.println(y);
// Calculate error from center
int errorX = x - FRAME_WIDTH / 2;
int errorY = y - FRAME_HEIGHT / 2;
// Adjust angles
panAngle -= errorX * panGain;
tiltAngle += errorY * tiltGain;
// Constrain angles
panAngle = constrain(panAngle, 0, 180);
tiltAngle = constrain(tiltAngle, 0, 180);
// Move servos
panServo.write(panAngle);
tiltServo.write(tiltAngle);
}
}
delay(20);
}

صبر کن تا فرآیند کامپایل و آپلود تموم بشه. 2. سیستم چطور کار می‌کنه؟

  1. برق مدار رو وصل کن تا روشن بشه.
  2. یکی از حالت‌های هوش مصنوعی دوربین رو انتخاب کن؛ مثلا:
  3. ردیابی چهره (Face Tracking)
  4. ردیابی اشیاء (Object Tracking)
  5. تشخیص دست (Hand Gesture)
  6. تشخیص حالت بدن (Pose Detection)

به محض اینکه هدفی تو کادر پیدا بشه اتفاقات زیر میفته:

  1. دوربین داده‌های اون هدف (مختصات X و Y کادر دور هدف و آیدیش) رو از طریق I2C به برد می‌فرسته.
  2. برد پردازش می‌کنه و می‌فهمه هدف چقدر از مرکز تصویر فاصله داره.
  3. در نهایت، با توجه به این اختلاف، موتورهای متحرک افقی و عمودی رو زاویه‌دهی می‌کنه تا هدف برگرده وسط تصویر.

این فرآیند خیلی سریع اتفاق میفته و باعث میشه سوژه همیشه تو مرکز کادر بمونه. حالا یه دوربین ردیاب هوشمند تمام‌عیار داری که می‌تونه به صورت فیزیکی چهره‌ها، اشیاء یا حرکات رو به صورت لحظه‌ای دنبال کنه!

مرحله ۱۰

آشنایی با قابلیت تشخیص و ردیابی چهره

قابلیت تشخیص چهره تو این ماژول می‌تونه صورت افراد رو پیدا کنه، نقاط کلیدی چهره (مثل چشم‌ها، بینی و دهان) رو علامت‌گذاری کنه و حتی چهره‌های مختلف رو یاد بگیره و بشناسه.

  1. کادر سفید روی تصویر یعنی چهره تشخیص داده شده.
  2. کادر رنگی به همراه آیدی و درصد، یعنی چهره شناخته شده است.
  3. مثلا نوشته: Face ID1 97%
  4. این یعنی ID1 اولین چهره‌ای بوده که بهش آموزش دادی.
  5. و 97% هم درصد اطمینان ماژوله.

وضعیت چراغ‌های پشت ماژول چطوریه؟

  1. آبی: چهره تشخیص داده شده.
  2. زرد: در حال یادگیری چهره است.
  3. سبز: چهره با موفقیت شناخته شد.

چطور یه چهره رو به دوربین آموزش بدیم؟

  1. حالت Face Recognition رو انتخاب کن.
  2. چهره رو دقیقا داخل کادر سفید قرار بده.
  3. مطمئن شو که علامت مثبت (+) وسط کادر باشه.
  4. دکمه A (بالا سمت راست) رو فشار بده.
  5. حالا اون چهره به عنوان ID1 (یا شماره‌های بعدی) ذخیره میشه.

پارامترهای مهم تو تنظیمات چهره:

  1. فراموش کردن آیدی‌ها: پاک کردن همه چهره‌های آموزش‌داده‌شده.
  2. شتاب‌دهنده تشخیص چند چهره: ردیابی رو سریع‌تر می‌کنه ولی با دقت یه کم پایین‌تر.
  3. آستانه تشخیص (Detection Threshold):
  4. پایین: راحت‌تر پیدا می‌کنه (اما ممکنه اشتباه هم بکنه).
  5. بالا: سخت‌گیرتر میشه و فقط چهره‌های خیلی واضح رو می‌گیره.
  6. آستانه شناسایی (Recognition Threshold):
  7. پایین: راحت‌تر چهره رو تطبیق میده (احتمال خطای تطبیق بیشتر).
  8. بالا: خیلی سخت‌گیرانه تطبیق میده.
  9. آستانه NMS: کادرهای تکراری که روی هم افتادن رو حذف می‌کنه.
  10. ویژگی‌های چهره: نمایش یا مخفی کردن نقاط کلیدی صورت.
  11. تنظیم نام: اختصاص یه اسم دلخواه به آیدی.
  12. نمایش نام: فعال یا غیرفعال کردن نمایش اسم روی صفحه.
  13. بازگشت به تنظیمات کارخانه: ریست کردن همه این موارد.
  14. خروجی گرفتن (Export): ذخیره چهره‌های آموزش‌داده‌شده (تا 5 مدل مختلف).
  15. وارد کردن (Import): بارگذاری چهره‌های ذخیره‌شده از یه دستگاه دیگه.

خروجی و ورودی گرفتن چهره‌ها هم خیلی راحته. برای ذخیره مدل، تو تنظیمات گزینه Export Model رو بزن و یه شماره براش انتخاب کن. برای انتقالش به یه دستگاه دیگه هم کافیه فایل‌های json و bin رو کپی کنی و تو ماژول جدید روی گزینه Import Model همون شماره رو انتخاب کنی.

مرحله ۱۱

تشخیص اشیاء پیش‌فرض با دوربین هوشمند

قابلیت Object Recognition تو این دوربین می‌تونه 80 نوع شیء مختلف رو به صورت پیش‌فرض و ثابت بشناسه. وقتی شیء مورد نظر جلوی دوربین قرار می‌گیره، ماژول به صورت خودکار دورش یه کادر می‌کشه و اسم شیء رو به همراه درصد اطمینان از تشخیص روی صفحه نمایش میده.

مرحله ۱۲

ردیابی اشیاء دلخواه با قابلیت Object Tracking

تو حالت Object Tracking می‌تونی به ماژول یاد بدی که هر بار یه شیء کاستوم رو شناسایی و ردیابی کنه. برای آموزش دادن شیء به دوربین اینطوری عمل کن:

  1. وارد حالت Object Tracking شو.
  2. دوربین رو به سمت شیء مورد نظر بگیر.
  3. صفحه نمایش رو لمس کن و یه کادر دور شیء بکش.
  4. دستت رو رها کن تا فرآیند یادگیری تموم بشه.

نتیجه ردیابی: وقتی شیء مورد نظر دوباره تو تصویر بیاد:

  1. یه کادر رنگی دورش کشیده میشه.
  2. متنی شبیه به Obj: ID1 66% روی صفحه میاد.

معنی این متن چیه؟

  1. کلمه Obj اسم پیش‌فرضه.
  2. عبارت ID1 نشون میده که این اولین شیء آموزش‌داده‌شده است.
  3. عدد 66% هم درصد اطمینان تشخیص رو نشون میده.
مرحله ۱۳

قابلیت تشخیص و ردیابی رنگ‌ها

با استفاده از این ویژگی خفن، ماژول می‌تونه رنگ‌های خاصی که بهش معرفی می‌کنی رو تشخیص بده، یاد بگیره و به صورت لحظه‌ای تو تصویر ردیابیشون کنه.

مرحله ۱۴

دسته‌بندی تصاویر با هوش مصنوعی (Classification)

  1. این حالت می‌تونه اشیاء رو تو 1000 دسته‌بندی مختلف طبقه‌بندی کنه.
  2. کاملا از مدل هوش مصنوعی داخلی استفاده می‌کنه و نیازی به آموزش نداره.
  3. اسم شیء و درصد اطمینان رو بهت نشون میده.
  4. مثلا: Laptop 92%

یه نکته مهم: این حالت با بخش "تشخیص اشیاء" فرق داره:

  1. اینجا هیچ کادری دور شیء کشیده نمیشه.
  2. مختصاتی برای مکان شیء هم بهت نمیده (یعنی مختصات X و Y نداریم).

پس این حالت بیشتر برای این به درد می‌خوره که بفهمی "این شیء چیه"، نه اینکه بفهمی "دقیقا کجای تصویر قرار داره".

مرحله ۱۵

دسته‌بندی ویژگی‌ها و اجسام چندزاویه‌ای

این قابلیت بهت اجازه میده از زوایای مختلف یه شیء عکس بگیری، اونا رو به ماژول آموزش بدی و بعد هر شیء کاستوم و دلخواهی رو به راحتی بهش بشناسونی.

مرحله ۱۶

بخش‌بندی و تشخیص مرز اشیاء (Segmentation)

  1. این ویژگی اشیاء رو تشخیص میده و دقیقا خطوط دورشون رو مشخص می‌کنه.
  2. به هر شیء یه ماسک رنگی اختصاص میده.
  3. برای اندازه‌گیری مساحت و شکل دقیق اجسام خیلی کاربردیه.
  4. می‌تونه تا 80 دسته‌بندی مختلف رو تشخیص بده.
  5. این دسته‌بندی‌ها دقیقا همون مواردی هستن که تو بخش تشخیص اشیاء (Object Recognition) داشتیم.

تفاوتش با یه کادر ساده اینه که اینجا دقیقا مرز فیزیکی شیء مشخص میشه و برای درک بصری بهتر، فوق‌العاده‌ست.

مرحله ۱۷

تشخیص ژست‌های حرکتی دست

  1. کف دست و 21 نقطه کلیدی رو شناسایی می‌کنه.
  2. تمام مفصل‌های انگشت‌ها رو به صورت لحظه‌ای روی صفحه نشون میده.
  3. از یادگیری، تشخیص و ردیابی ژست‌های مختلف دست پشتیبانی می‌کنه.

این 21 نقطه کلیدی شامل این موارد میشن:

  1. یک نقطه برای مچ دست.
  2. چهار مفصل برای هر کدوم از انگشت‌ها:
  3. شست
  4. انگشت اشاره
  5. انگشت وسط
  6. انگشت حلقه
  7. انگشت کوچیک

(برای هر انگشت: ریشه انگشت، مفصل اول، مفصل دوم و نوک انگشت مشخص میشه). برای پروژه‌های کنترل با حرکت دست و گجت‌های تعاملی، این قابلیت بی‌نظیره.

مرحله ۱۸

تخمین حالت بدن و تشخیص حرکات

  1. بدن انسان رو تو تصویر تشخیص میده.
  2. 17 نقطه کلیدی از آناتومی بدن رو شناسایی می‌کنه.
  3. می‌تونه حالت‌های مختلف بدن رو یاد بگیره و ردیابی کنه.
  4. قابلیت تشخیص چند نفر به صورت همزمان رو داره.
  5. از زوایای مختلف کار می‌کنه.
  6. حتی می‌تونه مفصل‌هایی که پشت یه مانع پنهان شدن رو هم پیش‌بینی کنه.

این 17 نقطه کلیدی شامل این موارد میشه:

  1. بینی
  2. چشم‌ها (چپ و راست)
  3. گوش‌ها (چپ و راست)
  4. شانه‌ها (چپ و راست)
  5. آرنج‌ها (چپ و راست)
  6. مچ دست (چپ و راست)
  7. لگن (چپ و راست)
  8. زانوها (چپ و راست)
  9. مچ پا (چپ و راست)

این قابلیت برای پروژه‌های فیتنس و ردیاب ورزشی، کنترل با ژست‌های حرکتی کل بدن و سیستم‌های تعاملی فوق‌العاده‌ست.

مرحله ۱۹

سیستم پلاک‌خوان هوشمند

  1. پلاک وسایل نقلیه رو تو تصویر پیدا می‌کنه.
  2. شماره پلاک رو روی صفحه نمایش میده.
  3. پشتیبانی از یادگیری پلاک‌های خاص برای شناسایی دقیق‌تر.
  4. می‌تونه پلاک‌های آموزش‌داده‌شده رو شناسایی و ردیابی کنه.
  5. آیدی و درصد اطمینان رو هم نشون میده.

جون میده برای ساخت یه سیستم پارکینگ هوشمند، درهای اتوماتیک و پروژه‌های کنترل تردد.

مرحله ۲۰

تشخیص متن روی تصاویر (OCR)

  1. از فناوری OCR (تشخیص اپتیکال کاراکترها) استفاده می‌کنه.
  2. متن‌های انگلیسی و چینی روی صفحه رو تشخیص میده.
  3. محتوای متن شناخته‌شده رو روی نمایشگر نشون میده.
  4. می‌تونی کاراکترها رو بهش آموزش بدی تا ردیابی‌شون کنه.
  1. تمام متن‌های پیدا شده با یه کادر دورشون مشخص میشن.
  2. فقط متنی که به مرکز تصویر نزدیک‌تر باشه پردازش میشه.
  3. متن شناسایی شده گوشه بالا سمت چپ همون کادر نمایش داده میشه.

این ویژگی برای ساخت لیبل‌خوان‌ها، ربات‌های مترجم یا پروژه‌های اتوماسیون که با متن سروکار دارن خیلی جوابه.

مرحله ۲۱

ردیابی خطوط (مناسب ربات‌های مسیریاب)

  1. خطوطی که کنتراست رنگی بالایی نسبت به پس‌زمینه دارن رو پیدا می‌کنه.
  2. مسیرهای مختلف رو با رنگ‌های متفاوت مشخص می‌کنه.
  3. سرعت پردازش لحظه‌ای خیلی بالایی داره.
  4. بهترین گزینه برای ربات‌های مسیریاب (Line Follower) و پروژه‌های ردیابی مسیره.

اگه می‌خوای یه ماشین خودران کوچیک یا ربات مسیریاب هوشمند بسازی، این ویژگی دقیقا همون چیزیه که لازم داری.

مرحله ۲۲

تشخیص احساسات چهره

  1. می‌تونه 7 تا احساس مختلف رو تشخیص بده:
  2. عصبانیت
  3. انزجار
  4. ترس
  5. شادی
  6. خنثی
  7. غم
  8. تعجب
  9. این احساسات به صورت پیش‌فرض تو کارخونه آموزش داده شدن.
  10. اصلا نیازی به یادگیری دستی نداره.
  11. احساس تشخیص داده شده مستقیما روی صفحه نمایش داده میشه.

برای ربات‌های تعاملی یا سیستم‌هایی که قراره با توجه به حال و هوای کاربر واکنش نشون بدن، یه گزینه عالیه.

مرحله ۲۳

اسکن و تشخیص بارکدهای QR

  1. کدهای QR رو تشخیص میده و می‌خونه.
  2. اطلاعات داخلشون رو روی صفحه نشون میده.
  3. می‌تونه کدهای خاصی رو یاد بگیره و بشناسه.
  4. از ردیابی کدهای شناسایی‌شده پشتیبانی می‌کنه.
  5. بهت اجازه میده برای هر کد یه اسم دلخواه تعریف کنی.

فوق‌العاده برای ساخت سیستم‌های ورود هوشمند، مدیریت انبار و پروژه‌های تعاملی.

مرحله ۲۴

بارکدخوان هوشمند

  1. بارکدهای خطی رو تو تصویر پیدا می‌کنه.
  2. اطلاعات کدگذاری‌شده‌شون رو نمایش میده.
  3. می‌تونی بارکدهای خاصی رو بهش آموزش بدی تا بشناسه‌شون.
  4. از ردیابی بارکدها پشتیبانی می‌کنه.
  5. قابلیت نام‌گذاری دلخواه برای بارکدها داره.

با این ویژگی می‌تونی یه سیستم صندوق فروشگاهی، مدیریت موجودی یا انبارداری اتوماتیک خفن بسازی.

مرحله ۲۵

استریم ویدئو به صورت زنده (RTSP)

  1. تصاویر رو به صورت بی‌سیم با پروتکل RTSP استریم می‌کنه.
  2. می‌تونی خروجی دوربین رو روی موبایل، لپ‌تاپ یا سیستم شخصی ببینی.
  3. با برنامه‌هایی که از RTSP پشتیبانی می‌کنن (مثل VLC Player) کار می‌کنه.
  4. نتایج پردازش هوش مصنوعی رو همزمان روی دستگاه‌های دیگه هم می‌بینی.

این قابلیت برای مانیتورینگ از راه دور، دموهای کلاسی و پروژه‌هایی که نیاز به مانیتور جداگانه دارن، خیلی به درد می‌خوره.

مرحله ۲۶

ماژول میکروسکوپ و بررسی دقیق‌تر اجسام

یه افزونه جذاب و خاص برای این ماژول طراحی شده که می‌تونه دوربینت رو به یه میکروسکوپ دیجیتال هوشمند تبدیل کنه.

  1. از یه لنز با فاصله کانونی 6 میلی‌متری استفاده می‌کنه.
  2. بزرگ‌نمایی 30 برابری داره.
  3. به سنسور 2 مگاپیکسلی GC2093 مجهز شده.
  4. می‌تونه جزئیاتی تا اندازه 3 میکرومتر رو به راحتی تشخیص بده.

این لنز فقط برای دیدن اجسام ریز نیست؛ بلکه اجازه میده با کمک هوش مصنوعی، ذرات میکروسکوپی رو تحلیل و شناسایی کنی. تو این حالت، دوربینت از یه سنسور بینایی ساده به یه سیستم میکروسکوپی مبتنی بر هوش مصنوعی ارتقا پیدا می‌کنه.

مرحله ۲۷

پایه میکروسکوپ پرینت سه‌بعدی

برای استفاده بهتر از حالت میکروسکوپی، یه پایه مخصوص طراحی کردم که می‌تونی با پرینتر سه‌بعدی بسازیش و دوربین رو روش سوار کنی.

  1. این پایه، دوربین رو به صورت عمودی و کاملا ثابت نگه می‌داره.
  2. فاصله کانونی رو دقیق حفظ می‌کنه تا تصویر تار نشه.
  3. برای مشاهدات آزمایشگاهی و بررسی دقیق قطعات ایده‌آله.

از اونجایی که ماژول ما از نصب مدل‌های کاستوم پشتیبانی می‌کنه، می‌تونی:

  1. مدل هوش مصنوعی تصویری اختصاصی خودت رو آموزش بدی.
  2. مستقیما روی دستگاه پیاده‌سازیش کنی.
  3. آنالیزهای میکروسکوپی مبتنی بر AI انجام بدی.

این ترکیب خفن، درهای جدیدی رو برای ساخت پروژه‌های متنوع برات باز می‌کنه:

  1. آزمایش‌های هوشمند بیولوژی.
  2. کنترل کیفیت قطعات خیلی ریز به صورت اتوماتیک.
  3. پروژه‌های عملی و آموزشی STEM.

در واقع این پایه پرینت‌شده، دوربینت رو رسما به یه میکروسکوپ هوش مصنوعی تمام‌عیار تبدیل می‌کنه.

مرحله ۲۸

جمع‌بندی و ایده‌های توسعه سیستم ردیاب

تو این آموزش از آیسی‌مدار یاد گرفتیم چطور یه ماژول هوش مصنوعی قدرتمند رو از یه دوربین ثابت به یه سیستم ردیاب تعاملی فیزیکی تبدیل کنیم. با ترکیب دو تا موتور و برد ESP32، یه مکانیزم متحرک نرم و دقیق ساختیم که نه‌تنها اجسام رو تشخیص میده، بلکه تو لحظه بهشون واکنش نشون میده و دنبالشون می‌کنه.

  1. داده‌های تشخیصی هوش مصنوعی رو می‌خونه.
  2. زاویه موتورها رو تو لحظه تغییر میده.
  3. و سوژه رو همیشه تو مرکز کادر نگه می‌داره.

پروژه‌ای که با یه ماژول ساده شروع شد، الان به یه پلتفرم کامل و هوشمند تبدیل شده. این پروژه به خوبی نشون میده که چطور هوش مصنوعی، کنترل حرکتی و میکروکنترلرها می‌تونن با هم ترکیب بشن تا فاصله بین دنیای دیجیتال و دنیای فیزیکی رو پر کنن.

حالا که پایه کار رو یاد گرفتی، می‌تونی از این مکانیزم برای ساخت سیستم‌های امنیتی، ربات‌های تعاملی، پایه‌های اتوماتیک تولید محتوا یا پروژه‌های پیشرفته دانشجویی استفاده کنی.

  1. سیستم‌های نظارت هوشمند
  2. رباتیک تعاملی
  3. دوربین‌های ردیاب اتوماتیک
  4. دموهای آموزشی مبتنی بر هوش مصنوعی
  5. پروژه‌های پیشرفته الکترونیک و تحقیقاتی

حالا تو دوربینی ساختی که فقط نمی‌بینه، بلکه می‌تونه واکنش نشون بده و حرکت کنه! دست به کار شو و این پروژه رو برای خودت بساز. حتما نظرت رو تو بخش کامنت‌ها با ما در میون بذار و بگو دوست داری این سیستم ردیاب رو به چه وسیله دیگه‌ای متصل کنی.

فایل‌های پیوست

STL Pan.stl
STL Base.stl
STL Pan_Body.stl

تو میتونی اولین سازنده باشی!

اگه پروژه رو ساختی به اشتراک بزار و اعتبار هدیه بگیر

این آموزش با استانداردهای اختصاصی آیسی‌مدار بازنویسی و بهینه‌سازی شده و تمامی حقوق انتشار آن متعلق به این مجموعه است و در صورت کپی یا بازنشر پیگرد قانونی خواهد داشت.

آموزش‌های مشابه

گفتگو‌های کاربران

هنوز نظری ثبت نشده؛ تو شروع کن!