1.项目需求与参
1.1、项目需
1.2、项目参考技术
2、功能模
2.1、主控模
2.2、OV2640模
2.2.1、OV2640摄像的安
2.2.2、OV2640摄像模
OV2640摄像模块支持输出最大为200万像素的图像 (1600x1200分辨率)，支持使用VGA时序输出图像数据，输出图像的数据格式支持YUV(422/420)、YCbCr422、RGB565以及JPEG格式，若直接输出JPEG格式的图像时可大大减少数据量，方便网络传输。它还可以对采集得的图像进行补偿，支持伽玛曲线、白平衡、饱和度、色度等基础处理。根据不同的分辨率配置，传感器输出图像数据的帧率从15-60帧可调，工作时功率在125mW-140mW之间。图2.2.1为OV2640的引脚分布图，其采用BGA封装，它的前端是采光窗口，引脚都在背面引出
3、流程框图与思
4、主要代
5、遇到的主要问
6、改进与收

Published March 26, 2024

Doll pet recognition system based on Seeed XIAO ESP32S3 Sens

The Seeed XIAO ESP32S3 Sense development board was used to recognize the doll pet. ts main functions are: based on the XIAO ESP32S3 Sense.

BeginnerProtip47

Doll pet recognition system based on Seeed XIAO ESP32S3 Sens

Things used in this project

Hardware components

Seeed Studio XIAO ESP32S3 Sense

Software apps and online services

Arduino IDE

Story

1.项目需求与参考

1.1、项目需求

开发一个创新的智能家居方案，通过使用XIAO ESP32S3 Sense开发板结合其他技术栈，为助力宠物在数字化的今天更好的安家乐居提供一套完整的方案。
利用摄像头配合图像识别AI，能够准确实时识别宠物。
利用XIAO ESP32S3 Sense的扩展模块实现智能宠物系统。

1.2、项目参考技术栈

微控制器：XIAO以及其它开源硬件如Arduino、ESP32等；
边缘计算硬件：Raspberry Pi，Nvidia Jetson等；
智能家居系统：Home Assistant；
嵌入式TinyML AI工具：Edge Impulse，SenseCraft AI 等；
云平台：Ubidots、Blynk、Tasmota，易微联等云平台；

2、功能模块

2.1、主控模块

本次主控核心板采用的是Seeed的XIAO ESP32S3 Sense开发板，下图2.1.1和2.1.2分别是开发板的正反端示意图：

图2.1.1

图2.1.2

该图是XIAO ESP32S3 Sense开发板的引脚图，可以看出XIAO开发板的一个最大的特点就是“小(xiao)”，在一个拇指大小的开发板上集成了14个引脚，片上8MPSRAM和8MB闪存板载SD卡插槽，支持32GB FAT。并且拥有Xtensa LX7双核32位处理器，工作频率高达240MHz。

图2.1.3

2.2、OV2640模块

2.2.1、OV2640摄像的安装

首先在XIAO ESP32S3的左下角下有一个用来连接WiFi的连接口，需要我们将一起的天线安装在上面以此来获得更好的信号。然后将摄像头与XIAO开发板上的B2B连接器对其再安装上去。在摄像头上有一个专门的SD卡的卡槽，用来放置我们的SD卡，拍下来的照片就会保存在这个SD卡中。

2.2.2、OV2640摄像模块

OV2640摄像模块支持输出最大为200万像素的图像 (1600x1200分辨率)，支持使用VGA时序输出图像数据，输出图像的数据格式支持YUV(422/420)、YCbCr422、RGB565以及JPEG格式，若直接输出JPEG格式的图像时可大大减少数据量，方便网络传输。它还可以对采集得的图像进行补偿，支持伽玛曲线、白平衡、饱和度、色度等基础处理。根据不同的分辨率配置，传感器输出图像数据的帧率从15-60帧可调，工作时功率在125mW-140mW之间。图2.2.1为OV2640的引脚分布图，其采用BGA封装，它的前端是采光窗口，引脚都在背面引出。

图2.2.1

其功能框图如下图2.2.2所示：

图2.2.2

控制寄存器

标号处的是OV2640的控制寄存器，它根据这些寄存器配置的参数来运行，而这些参数是由外部控制器通过SIO_C和SIO_D引脚写入的， SIO_C与SIO_D使用的通讯协议SCCB跟I2C十分类似，在STM32中我们完全可以直接用I2C硬件外设来控制。

通信、控制信号及时钟

标号处包含了OV2640的通信、控制信号及外部时钟，其中PCLK、HREF及VSYNC分别是像素同步时钟、行同步信号以及帧同步信号，这与液晶屏控制中的信号是很类似的。RESETB引脚为低电平时，用于复位整个传感器芯片，PWDN用于控制芯片进入低功耗模式。注意最后的一个XCLK引脚，它跟PCLK是完全不同的，XCLK是用于驱动整个传感器芯片的时钟信号，是外部输入到OV2640的信号；而PCLK是OV2640输出数据时的同步信号，它是由OV2640输出的信号。XCLK可以外接晶振或由外部控制器提供，若要类比XCLK之于OV2640就相当于HSE时钟输入引脚与STM32芯片的关系，PCLK引脚可类比STM32的I2C外设的SCL引脚。

感光矩阵

标号处的是感光矩阵，光信号在这里转化成电信号，经过各种处理，这些信号存储成由一个个像素点表示的数字图像。

数据输出信号

标号处包含了DSP处理单元，它会根据控制寄存器的配置做一些基本的图像处理运算。这部分还包含了图像格式转换单元及压缩单元，转换出的数据最终通过Y0-Y9引脚输出，一般来说我们使用8根据数据线来传输，这时仅使用Y2-Y9引脚， OV2640与外部器件的连接方式见图 2.2.3。

图2.2.3

3、流程框图与思路

图3.1.1

思路大致如下：

首先通过OV2640摄像模块，在Arduino IDE上下载拍摄功能的代码；
将摄像头对准要进行识别的玩偶宠物，把拍摄得到的图片保存在SD卡中；
SD卡中的图片上传到Roboflow平台上进行标注，如果效果不好可以再次对目标物进行拍摄，获得更多的数据集，以此来提高精度；
把得到的URL代码在飞桨AI studio中进行迭代训练，得到训练好的模型文件；
将训练好的模型文件上传到SenseCraft中，就可以对玩偶宠物进行目标识别了。

4、主要代码

利用XIAO ESP32S3 Sense开发板上的OV2640摄像头需要在Arduino IDE上编译并下载如下代码，这里展示主要代码部分：

#include "esp_camera.h"
#include "FS.h"
#include "SD.h"
#include "SPI.h"

#define CAMERA_MODEL_XIAO_ESP32S3 // Has PSRAM

#include "camera_pins.h"

unsigned long lastCaptureTime = 0; // Last shooting time
int imageCount = 1;                // File Counter
bool camera_sign = false;          // Check camera status
bool sd_sign = false;              // Check sd status
bool commandRecv = false; // flag used for indicating receipt of commands from serial port
bool captureFlag = false;

// Save pictures to SD card
void photo_save(const char * fileName) {
  // Take a photo
  camera_fb_t *fb = esp_camera_fb_get();
  if (!fb) {
    Serial.println("Failed to get camera frame buffer");
    return;
  }
  // Save photo to file
  writeFile(SD, fileName, fb->buf, fb->len);
  
  // Release image buffer
  esp_camera_fb_return(fb);

  Serial.println("Photo saved to file");
}

// SD card write file
void writeFile(fs::FS &fs, const char * path, uint8_t * data, size_t len){
    Serial.printf("Writing file: %s\n", path);

    File file = fs.open(path, FILE_WRITE);
    if(!file){
        Serial.println("Failed to open file for writing");
        return;
    }
    if(file.write(data, len) == len){
        Serial.println("File written");
    } else {
        Serial.println("Write failed");
    }
    file.close();
}

void setup() {
  Serial.begin(115200);
  while(!Serial); // When the serial monitor is turned on, the program starts to execute

  camera_config_t config;
  config.ledc_channel = LEDC_CHANNEL_0;
  config.ledc_timer = LEDC_TIMER_0;
  config.pin_d0 = Y2_GPIO_NUM;
  config.pin_d1 = Y3_GPIO_NUM;
  config.pin_d2 = Y4_GPIO_NUM;
  config.pin_d3 = Y5_GPIO_NUM;
  config.pin_d4 = Y6_GPIO_NUM;
  config.pin_d5 = Y7_GPIO_NUM;
  config.pin_d6 = Y8_GPIO_NUM;
  config.pin_d7 = Y9_GPIO_NUM;
  config.pin_xclk = XCLK_GPIO_NUM;
  config.pin_pclk = PCLK_GPIO_NUM;
  config.pin_vsync = VSYNC_GPIO_NUM;
  config.pin_href = HREF_GPIO_NUM;
  config.pin_sscb_sda = SIOD_GPIO_NUM;
  config.pin_sscb_scl = SIOC_GPIO_NUM;
  config.pin_pwdn = PWDN_GPIO_NUM;
  config.pin_reset = RESET_GPIO_NUM;
  config.xclk_freq_hz = 20000000;
  config.frame_size = FRAMESIZE_UXGA;
  config.pixel_format = PIXFORMAT_JPEG; // for streaming
  config.grab_mode = CAMERA_GRAB_WHEN_EMPTY;
  config.fb_location = CAMERA_FB_IN_PSRAM;
  config.jpeg_quality = 12;
  config.fb_count = 1;
  
  // if PSRAM IC present, init with UXGA resolution and higher JPEG quality
  //                      for larger pre-allocated frame buffer.
  if(config.pixel_format == PIXFORMAT_JPEG){
    if(psramFound()){
      config.jpeg_quality = 10;
      config.fb_count = 2;
      config.grab_mode = CAMERA_GRAB_LATEST;
    } else {
      // Limit the frame size when PSRAM is not available
      config.frame_size = FRAMESIZE_SVGA;
      config.fb_location = CAMERA_FB_IN_DRAM;
    }
  } else {
    // Best option for face detection/recognition
    config.frame_size = FRAMESIZE_240X240;
#if CONFIG_IDF_TARGET_ESP32S3
    config.fb_count = 2;
#endif
  }

  // camera init
  esp_err_t err = esp_camera_init(&config);
  if (err != ESP_OK) {
    Serial.printf("Camera init failed with error 0x%x", err);
    return;
  }
  
  camera_sign = true; // Camera initialization check passes

  // Initialize SD card
  if(!SD.begin(21)){
    Serial.println("Card Mount Failed");
    return;
  }
  uint8_t cardType = SD.cardType();

  // Determine if the type of SD card is available
  if(cardType == CARD_NONE){
    Serial.println("No SD card attached");
    return;
  }

  Serial.print("SD Card Type: ");
  if(cardType == CARD_MMC){
    Serial.println("MMC");
  } else if(cardType == CARD_SD){
    Serial.println("SDSC");
  } else if(cardType == CARD_SDHC){
    Serial.println("SDHC");
  } else {
    Serial.println("UNKNOWN");
  }

  sd_sign = true; // sd initialization check passes


  Serial.println("XIAO ESP32S3 Sense Camera Image Capture");
  Serial.println("Send 'capture' to initiates an image capture\n");
}

void loop() {
  // Camera & SD available, start taking pictures
  if(camera_sign && sd_sign){
      String command;
      // Read incoming commands from serial monitor
      while (Serial.available()) {
        char c = Serial.read();
        if ((c != '\n') && (c != '\r')) {
          command.concat(c);
        } 
        else if (c == '\n') {
          commandRecv = true;
          command.toLowerCase();
        }
      }
       
    //If command = "capture", take a picture and save it to the SD card
      if (commandRecv && command == "capture") {
        commandRecv = false;
        Serial.println("\nPicture Capture Command is sent");
        char filename[32];
        sprintf(filename, "/image%d.jpg", imageCount);
        photo_save(filename);
        Serial.printf("Saved picture：%s\n", filename);
        Serial.println("");
        imageCount++;    
    }
  }
}

其中，分别定义了两个函数，一个是将捕获的图像保存到SD卡的函数photo_save()，另一个是写入文件的函数writeFile( )。

// Save pictures to SD card
void photo_save(const char * fileName) {
  // Take a photo
  camera_fb_t *fb = esp_camera_fb_get();
  if (!fb) {
    Serial.println("Failed to get camera frame buffer");
    return;
  }
  // Save photo to file
  writeFile(SD, fileName, fb->buf, fb->len);
  
  // Release image buffer
  esp_camera_fb_return(fb);

  Serial.println("Photo saved to file");
}
if(camera_sign && sd_sign){
    // Get the current time
    unsigned long now = millis();
  
    //If it has been more than 1 minute since the last shot, take a picture and save it to the SD card
    if ((now - lastCaptureTime) >= 60000) {
      char filename[32];
      sprintf(filename, "/image%d.jpg", imageCount);
      photo_save(filename);
      Serial.printf("Saved picture：%s\n", filename);
      Serial.println("Photos will begin in one minute, please be ready.");
      imageCount++;
      lastCaptureTime = now;
    }
  }

5、遇到的主要问题

在刚上手XIAO时，需要使用Arduino IDE对其进行编程，刚开始下载安装ESP32的资源包时出现问题；
Arduino IDE编译代码时速度较慢，编译效率不太高；
与ESP32S3的连接有时会出现问题，出现连接不稳定的问题；

6、改进与收获

本次寒假一起练任务还可以进一步的优化：

可以联合其他智能外设进行联动，如蓝牙音箱等；
可以增加一些其他声光提醒功能；
可以将训练得到的模型进一步的优化，使识别效果和精度都提高；

这次寒假任务得收获：

进一步了解和学习了ESP32得相关知识和内容，对Arduino IDE编程得到了一定的提升；
对OV2640摄像模块有了一定的了解，并且结合XIAO ESP32S3一起简单的实现了一个AI智能的目标识别；
通过使用Roboflow与AI Studio平台对目标识别的标注与训练有了相应的了解；
与其他小伙伴一起学习交流解决问题并且学习到了新的知识；

Alkaidm

1 project • 0 followers

Thanks to zengxiangjie.

Doll pet recognition system based on Seeed XIAO ESP32S3 Sens