ESP-IDFを使ってみる

Non-volatile storage library

esp32では、Flashの一部を不揮発性の記憶領域(NVS)として使うことができます。
こちらに簡単なサンプルが公開されています。
ビルドして実行すると以下の様に再起動した回数をNVS領域に設定して再起動します。

再起動した回数は「storage」のnamespaceに、「restart_counter」というキーで、「i32」型のデータとして NVS領域に保存されます。
こちらのサンプルでnvsパーテイションに格納されている情報を見ることができます。

NVSパーティションはNamespace->Key+Valueのツリー構造になっています。

NVS
              Partition--+--Namespace1--+--Key1/Value

                            

              |             

              +--Key2/Value

                            

              |             

              +--Key3/Value

                            

              |             

              +--Key4/Value

                            

              |

                            

              +--Namespace2--+--Key1/Value

                                           

              +--Key2/Value

                                           

              +--Key3/Value

                                           

              +--Key4/Value

Keyの名前が同じでも、Namespaceが違うと、違うKeyとして扱われます。

NVS
              Partition--+--Namespace1--+--Hoge/Value

                            

              |             

              +--Fuga/Value

                            

              |

                            

              +--Namespace2--+--Hoge/Value

                                           

              +--Fuga/Value

Non-volatile storage libraryの詳細はこちらに公開されています。
「idf.py erase_flash」でNVS領域を含むFlash全体を初期化することができます。

こちらにnvs blobのサンプルが公開されています。
ビルドして実行すると以下の様に再起動した回数をNVS領域に設定して再起動します。
再起動した回数は「restart_counter」というキーでNVS領域に保存されます。

このタイミングでGPIO0(Bootボタン)を長押しすると、起動してからのTick数を「run_time」というキーの「blob value」形式で、NVS領域に設定して再起動します。

「blob value」形式は可変サイズの領域で、１つのキーに対して、複数のデータを保存することができます。

NVS
              Partition-----storage-----run_time--+--Value1

                                                     

              +--Value2

                                                     

              +--Value3

                                                     

              +--Value4

ツールで読み出すと以下の様になります。
「blob value」形式の値はパックしたデータとして保存されていて、ツールでは読むことができません。

This is an example of ESP-IDF console
              component.

              Type 'help' to get the list of commands.

              Use UP/DOWN arrows to navigate through command history.

              Press TAB when typing command name to auto-complete.

              Press Enter or Ctrl+C will terminate the console
              environment.

              esp32> nvs_list nvs

              namespace 'storage', key 'run_time', type 'blob'

              namespace 'storage', key 'restart_conter', type 'i32'

              esp32> nvs_namespace storage

              I (19480) cmd_nvs: Namespace set to 'storage'

              esp32> nvs_get restart_conter i32

              6

              esp32> nvs_get run_time blob

              8e1700007e090000b60800002e0e0000

こちらに「Creating Unique Factory Data Images」のやり方が紹介されています。
直訳すると「独自の工場データイメージの作成」ですが、要するに最初からシリアル番号などのデータを、
2番目以降のNVS領域に書き込んでおくことができます。

「Factory Data Images」を書き込めるのは2番目以降のNVSパーテイション(以降Specified NVS partition)です。
そこで、Custom partitation table CSV(partitions.csv)を準備します。
赤字の部分がSpecified NVS partitionで、パーテーション開始アドレスが0x10000、パーティションサイズが0x6000となります。

$ cat partitions.csv

              # Name,   Type, SubType, Offset,  Size,
              Flags

              # Note: if you change the phy_init or app partition
              offset, make sure to change the offset in
              Kconfig.projbuild

              nvs,      data,
              nvs,     0x9000,  0x6000,

              phy_init, data, phy,     0xf000, 
              0x1000,

              fctry   , data,
                nvs,     0x10000, 0x6000,

              factory,  app,  factory, 0x20000, 1M,

Specified NVS partitionに書き込むデータはCSVファイルとして準備します。
CSVファイルのファイル名は何でも構いませんが、私は「nvs_config.csv」としました。

$ cat nvs_config.csv

              key,type,encoding,value　----> 固定文字列

              device_data,namespace,,  ----> namespace名

              serial_no,data,string,164589345735  ----->
              NVSに書き込むデータ

              mac_addr,data,string,0A:0B:0C:0D:0E:0F ----->
              NVSに書き込むデータ

CSVファイルの1行目は固定の文字列です。

CSVファイルの2行目はnamespaceの指定で、先頭に「namespaceの名前（紛らわしい)」を指定します。
「namespaceの名前(英語ではNamespace name)」は何でも構いませんが、私は「device_data」としました。

CSVファイルの3行目以降がNVSに書き込むデータで「Key,Type,Encording,Value」の順に指定します。
Keyは変数の名前です。
Typeにはfileかdataを指定することができます。
Encordingは変数の型です。
Valueが変数値となります。
これらの詳細はこちらに記載されています。

今回は「serial_no」と「mac_addr」の2つのKeyを文字列として書き込みます。

CSVファイルをnvs_partition_gen.pyを使ってイメージデータ(my_nvs.bin)に変換し、
変換したイメージデータをesptool.pyを使ってFlashに書き込みます。
この時、イメージサイズを0x6000、書き込み開始アドレスを0x10000として、Specified NVS partitionのパーティション位置とサイズを
Custom partitation table CSV(partitions.csv)と一致させる必要が有ります。

$ python
              $IDF_PATH/components/nvs_flash/nvs_partition_generator/nvs_partition_gen.py

























































              generate nvs_config.csv my_nvs.bin 0x6000

              

              Creating NVS binary with version: V2 - Multipage Blob
              Support Enabled

              

              Created NVS binary: ===>
              /home/nop/rtos/nvs_partition_gen/my_nvs.bin

              

              $ python
              $IDF_PATH/components/esptool_py/esptool/esptool.py 
              write_flash 0x10000
              my_nvs.bin

              esptool.py v2.7-dev

              Found 3 serial ports

              Serial port /dev/ttyUSB0

              Connecting........___

              Detecting chip type... ESP32

              Chip is ESP32D0WDQ6 (revision 1)

              Features: WiFi, BT, Dual Core, Coding Scheme None

              MAC: 30:ae:a4:24:bc:5c

              Uploading stub...

              Running stub...

              Stub running...

              Configuring flash size...

              Auto-detected Flash size: 4MB

              Compressed 24576 bytes to 258...

              Wrote 24576 bytes (258 compressed) at 0x00010000 in 0.0
              seconds (effective 7288.8 kbit/s)...

              Hash of data verified.

              

              Leaving...

              Hard resetting via RTS pin...

最後にmenuconfigでCustom partitation table CSVにpartitions.csvを指定します。

sdkconfig.defaultsが有るとその内容に従ってsdkconfigが作られます。
以下のsdkconfig.defaultsが有ると、Menuconfig実行時にsdkconfigにこれらの値が反映されます。

$ cat sdkconfig.defaults

              #

              # Serial flasher config

              #

              CONFIG_ESPTOOLPY_FLASHSIZE_4MB=y

              

              #

              # Partition Table

              #

              CONFIG_PARTITION_TABLE_CUSTOM=y

              CONFIG_PARTITION_TABLE_CUSTOM_FILENAME="partitions.csv"

              CONFIG_PARTITION_TABLE_FILENAME="partitions.csv"

以下がFactory Data Imagesからデータを取り出すコードです。
注意する点としてbuflenにはバッファサイズを入れておく必要が有ります。
最初これが分からずにめちゃハマりました。
APIの詳細はこちらに有ります。

#include <stdio.h>

              #include "freertos/FreeRTOS.h"

              #include "freertos/task.h"

              #include "esp_system.h"

              #include "nvs_flash.h"

              #include "nvs.h"

              

              #define MFG_PARTITION_NAME "fctry"

              

              void app_main()

              {

                  esp_err_t err;

              

                  // Initialize specified NVS partition

                  err =
              nvs_flash_init_partition(MFG_PARTITION_NAME);

                  if (err != ESP_OK) {

                  　  printf("Error (%s)
              nvs_flash_init_partition!\n", esp_err_to_name(err));

                  }

              

                  // Open specified NVS partition

                  printf("Opening Non-Volatile Storage
              (NVS) handle... ");

                  nvs_handle fctry_handle;

                  err =
              nvs_open_from_partition(MFG_PARTITION_NAME, "device_data",

                            





































































              NVS_READWRITE, &fctry_handle);

                  if (err != ESP_OK) {

                      printf("Error
              (%s) nvs_open_from_partition!\n", esp_err_to_name(err));

                  } else {

                     
              printf("Done\n");

              

                      char buf[64];

                      size_t buflen;

              

                      // Read
              serialserial_no

                      printf("Reading
              serial_no from NVS ... \n");

                      buflen =
              sizeof(buf);

                      err =
              nvs_get_str(fctry_handle, "serial_no", buf, &buflen);

                      switch (err) {

                         





































































              case ESP_OK:

                             





































































              printf("Done\n");

                             





































































              printf("buflen=%d serial_no=[%s]\n", buflen, buf);

                             





































































              break;

                         





































































              case ESP_ERR_NVS_NOT_FOUND:

                             





































































              printf("The value is not initialized yet!\n");

                             





































































              break;

                         





































































              default :

                             





































































              printf("Error (%s) reading!\n", esp_err_to_name(err));

                      }

              

                      // Read
              mac_addr

                      printf("Reading
              mac_addr from NVS ... \n");

                      buflen =
              sizeof(buf);

                      err =
              nvs_get_str(fctry_handle, "mac_addr", buf, &buflen);

                      switch (err) {

                         





































































              case ESP_OK:

                             





































































              printf("Done\n");

                             





































































              printf("bulen=%d mac_addr=[%s]\n", buflen, buf);

                             





































































              break;

                         





































































              case ESP_ERR_NVS_NOT_FOUND:

                             





































































              printf("The value is not initialized yet!\n");

                             





































































              break;

                         





































































              default :

                             





































































              printf("Error (%s) reading!\n", esp_err_to_name(err));

                      }

              

                      // Close

                     
              nvs_close(fctry_handle);

                  }

              

                  printf("\n");

              }

ビルドして実行するとserial_noとmac_addrをSpecified NVS partitionから取り出します。

Opening Non-Volatile Storage (NVS)
              handle... Done

              Reading serial_no from NVS ...

              Done

              buflen=13 serial_no=[164589345735]

              Reading mac_addr from NVS ...

              Done

              bulen=18 mac_addr=[0A:0B:0C:0D:0E:0F]

NVS partitionには複数のnamespaceを設定することができます。
以下の例では[device_data]と[current_data]の2つのnamespaceを設定しています。
[device_data]のserial_numberと、[current_data]のserial_numberは別の値として扱うことができます。

$ cat nvs_config.csv

              key,type,encoding,value

              device_data,namespace,, ----> 1番目のnamespace名

              serial_no,data,string,164589345735

              mac_addr,data,string,0A:0B:0C:0D:0E:0F

              current_data,namespace,, ----> 2番目のnamespace名

              serial_no,data,string,372818934632

              mac_addr,data,string,1A:1B:1C:1D:1E:1F

注意点として空白行はデータの終わりとみなされます。
以下の様に空白行が有ると、そこでデータの終わりとみなされ、それ以降のデータを無視します。

$ cat nvs_config.csv

              key,type,encoding,value

              device_data,namespace,, ----> 1番目のnamespace名

              serial_no,data,string,164589345735

              mac_addr,data,string,0A:0B:0C:0D:0E:0F

                             
                       ---->
              空白行はデータの終端とみなされる

              current_data,namespace,, ----> 2番目のnamespace名

              serial_no,data,string,372818934632

              mac_addr,data,string,1A:1B:1C:1D:1E:1F

namespaceを変えて実行してみます。

#include <stdio.h>

              #include "freertos/FreeRTOS.h"

              #include "freertos/task.h"

              #include "esp_system.h"

              #include "nvs_flash.h"

              #include "nvs.h"

              

              #define MFG_PARTITION_NAME "fctry"

              

              void readNVS(char * namespace) {

                  // Open specified NVS partition

                  printf("Opening Non-Volatile Storage
              (namespace=[%s]) handle... ", namespace);

                  nvs_handle nvs_handle;

                  esp_err_t err =
              nvs_open_from_partition(MFG_PARTITION_NAME, namespace,

                            


































              NVS_READWRITE, &nvs_handle);

                  if (err != ESP_OK) {

                      printf("Error
              (%s) nvs_open_from_partition!\n", esp_err_to_name(err));

                  } else {

                     
              printf("Done\n");

              

                      char buf[64];

                      size_t buflen;

              

                      // Read
              serialserial_no

                      printf("Reading
              serial_no from NVS ... \n");

                      buflen =
              sizeof(buf);

                      err =
              nvs_get_str(nvs_handle, "serial_no", buf, &buflen);

                      switch (err) {

                         


































              case ESP_OK:

                             


































              printf("Done\n");

                             


































              printf("buflen=%d serial_no=[%s]\n", buflen, buf);

                             


































              break;

                         


































              case ESP_ERR_NVS_NOT_FOUND:

                             


































              printf("The value is not initialized yet!\n");

                             


































              break;

                         


































              default :

                             


































              printf("Error (%s) reading!\n", esp_err_to_name(err));

                      }

              

                      // Read
              mac_addr

                      printf("Reading
              mac_addr from NVS ... \n");

                      buflen =
              sizeof(buf);

                      err =
              nvs_get_str(nvs_handle, "mac_addr", buf, &buflen);

                      switch (err) {

                         


































              case ESP_OK:

                             


































              printf("Done\n");

                             


































              printf("bulen=%d mac_addr=[%s]\n", buflen, buf);

                             


































              break;

                         


































              case ESP_ERR_NVS_NOT_FOUND:

                             


































              printf("The value is not initialized yet!\n");

                             


































              break;

                         


































              default :

                             


































              printf("Error (%s) reading!\n", esp_err_to_name(err));

                      }

              

                      // Close

                     
              nvs_close(nvs_handle);

                      printf("\n");

                  }

              }

              

              void app_main()

              {

                  // Initialize specified NVS partition

                  esp_err_t err =
              nvs_flash_init_partition(MFG_PARTITION_NAME);

                  if (err != ESP_OK) {

                      printf("Error
              (%s) nvs_flash_init_partition!\n", esp_err_to_name(err));

                  }

              

                  readNVS("device_data");

                  readNVS("current_data");

              }

ビルドして実行すると[device_data]に格納されているデータと、[current_data]に格納されているデータは違うことが分かります。

Opening Non-Volatile Storage
              (namespace=[device_data]) handle... Done

              Reading serial_no from NVS ...

              Done

              buflen=13 serial_no=[164589345735]

              Reading mac_addr from NVS ...

              Done

              bulen=18 mac_addr=[0A:0B:0C:0D:0E:0F]

              

              Opening Non-Volatile Storage (namespace=[current_data])
              handle... Done

              Reading serial_no from NVS ...

              Done

              buflen=13 serial_no=[372818934632]

              Reading mac_addr from NVS ...

              Done

              bulen=18 mac_addr=[1A:1B:1C:1D:1E:1F]

NVS Partition Generator Utilityの使い方がこちらに公開されています。
fileも直接指定できるみたいですが、使い方が分かりません。

NVSには以下の2種類が有ります。
・Default NVS partition
このNVSパーティションは、パーティションテーブルで「nvs」とラベル付けされたパーティションです。
赤字の部分がDefault NVSパーティションで、特別な操作をしなくてもデフォルトで作成されるパーテーションです。
0x6000バイト(24Kバイト)が確保されます。

I (62) boot: ##
              Label           
              Usage         

























































              Type ST Offset   Length

              I (70) boot:  0 nvs             

























































              WiFi data        01 02
              00009000 00006000

              I (77) boot:  1
              phy_init        
              RF
              data         
              01 01 0000f000 00001000

              I (85) boot:  2
              fctry           
              WiFi data        01 02
              00010000 00006000

              I (92) boot:  3
              factory         
              factory app      00 00 00020000
              00100000

Wifiに接続すると接続情報やPHYキャリブレーション情報がここに格納されます。
ルータのSSIDやパスワードはblob形式で格納されていますので、このツールでは読むことができません。

esp32> nvs_list nvs

              namespace 'storage', key 'restart_counter', type 'i32'

              namespace 'nvs.net80211', key 'ap.sndchan', type 'u8'

              namespace 'nvs.net80211', key 'opmode', type 'u8'

              namespace 'nvs.net80211', key 'bssid.set', type 'u8'

              namespace 'nvs.net80211', key 'sta.lis_intval', type 'u16'

              namespace 'nvs.net80211', key 'sta.scan_method', type 'u8'

              namespace 'nvs.net80211', key 'sta.sort_method', type 'u8'

              namespace 'nvs.net80211', key 'sta.minrssi', type 'i8'

              namespace 'nvs.net80211', key 'sta.minauth', type 'u8'

              namespace 'nvs.net80211', key 'sta.pmf_e', type 'u8'

              namespace 'nvs.net80211', key 'sta.pmf_r', type 'u8'

              namespace 'nvs.net80211', key 'sta.rrm_e', type 'u8'

              namespace 'nvs.net80211', key 'sta.btm_e', type 'u8'

              namespace 'nvs.net80211', key 'sta.mbo_e', type 'u8'

              namespace 'phy', key 'cal_mac', type 'blob'

              namespace 'storage', key 'bmpText', type 'str'

              namespace 'storage', key 'bmpError', type 'str'

              namespace 'bt_config.conf', key 'bt_cfg_key0', type 'blob'

              namespace 'nvs.net80211', key 'sta.ft', type 'u8'

              namespace 'nvs.net80211', key 'sta.owe', type 'u8'

              namespace 'nvs.net80211', key 'sta.bss_retry', type 'u8'

              namespace 'nvs.net80211', key 'sta.trans_d', type 'u8'

              namespace 'nvs.net80211', key 'sta.sae_h2e', type 'u8'

              namespace 'nvs.net80211', key 'sta.sae_pk_mode', type 'u8'

              namespace 'nvs.net80211', key 'sta.sae_h2e_id', type
              'blob'

              namespace 'storage', key 'bmpFile', type 'str'

              namespace 'nvs.net80211', key 'sta.apinfo', type 'blob'

              namespace 'phy', key 'cal_version', type 'u32'

              namespace 'phy', key 'cal_data', type 'blob'

              namespace 'nvs.net80211', key 'sta.ssid', type 'blob'

              namespace 'nvs.net80211', key 'sta.pswd', type 'blob'

              namespace 'nvs.net80211', key 'sta.apsw', type 'blob'

              namespace 'nvs.net80211', key 'sta.chan', type 'u8'

              esp32> nvs_namespace nvs.net80211

              I (68560) cmd_nvs: Namespace set to 'nvs.net80211'

              esp32> nvs_get sta.ssid blob

0e000000617465726d2d6435613465652d67000000000000000000000000000000000000

・Specified NVS partition
このNVSパーティションは、パーティションテーブルで「nvs」以外にラベル付けされたパーティションです。
赤字の部分がSpecified NVSパーティションで、menuconfigのPartition TableでCustom partition tableを指定する必要が有ります。

I (62) boot: ##
              Label           
              Usage         

























































              Type ST Offset   Length

              I (70) boot:  0
              nvs             

























































              WiFi data        01 02
              00009000 00006000

              I (77) boot:  1
              phy_init        
              RF
              data         
              01 01 0000f000 00001000

              I (85) boot:  2 fctry           

























































              WiFi data        01 02
              00010000 00006000

              I (92) boot:  3
              factory         
              factory app      00 00 00020000
              00100000

Default NVS partitionを扱うときは、nvs_flash_init()/nvs_open()で初期化/オープンしますが、
Specified NVS partitionを扱うときは、nvs_flash_init_partition()/nvs_open_from_partition()で初期化 /オープンします。
NVSへのデータの書き込み、検索はどちらも同じAPIを使います。

こちらにarduino for esp32のEEPROMライブラリが公開されています。
ソースを確認しましたが、Default NVS partitionを使ってEEPROM機能をエミュレーションしています。
[esp32 eeprom]でググると幾つかヒットします。
esp32のSoCにeeprom領域が存在しているように書かれている記事も有りますが、esp32のSoCにはeeprom領域は有りません。
Arduino互換ライブラリが、Flashメモリの一部をNVS領域として確保し、NVS領域を使った疑似EEPROMを提供しています。
なお、ESP32Cシリーズなどは、SoCにFlashメモリがビルトインされている物が有るので、SoC内のFlashメモリ領域に構築した NVSとなり、
メチャクチャ省略するとSoC上のNVSとなります。

こちらにUSB経由でDefault NVS partition(nvs)のNamespace=wifi_configのキーと値のペアを書き換えるサンプルが公開されています。
USBを使うのでESP32S2/S3しか動きません。
ESP32S2/S3とUSBメスコネクター(Mini-B)を以下の様に接続し、USBケーブルでWindowsと接続します。

ESP BOARD    USB FEMALE CONNECTOR
                  +--+
[GPIO19]  ------> | || D-
[GPIO20]  ------> | || D+
[GND]     ------> | || GND
                  +--+

+----------+      +----------+     +----------+
|          | GPIO |          | USB |          |
|ESP32S2/S3|======|USB Female|=====| Windows  |
|          |      |          |     |          |
+----------+      +----------+     +----------+

サンプルを書き込むと、Windows側に以下のドライブが出現します。

CONFIG.INIには以下の初期値が設定されています。

[wifi_config]

              ssid = myssid

              password = mypassword

これを使用しているルータの環境に合わせて書き換えると、書き換えた内容を取り込んでWiFiに接続します。
一見すると、USB経由でESP32側のファイルシステムに対するマウントや書き込みができそうですが、あくまでもUSB経由で書き換えできるのは、
Default NVS partition(Partition=nvs)のNamespace=wifi_configのキーと値のペアだけです。

続く．．．．