喵十八の小窝
0%
412 字 1 分钟

FATE学习：运行过程中产生的数据（二） db部分

Posted on In

综述

fate_flow_server 启动时，会初始化db。cluster模式为mysql，standalone模式为sqlite，详细说明参考FATE学习：跟着日志读源码（二）fate_flow server 启动
而在fate 任务的运行过程中，产生的job和task的metadata 以及 tracker 信息。这部分数据都存储在db中。因而也涉及大量的DB操作。
创建 job or task： intsert 语句
更新 job or task信息： update 语句、delete语句

db概览

有5个库

1
2
3
4
5
6
7
8
9
10
11
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| eggroll_meta       |
| information_schema |
| mysql              |
| performance_schema |
| sys                |
+--------------------+
5 rows in set (0.19 sec)

eggroll_meta：是存储fate flow运行过程，主要metadata 和tracker 的库
其余四个，为mysql自带数据MySQL / 自带的四个数据库介绍

eggroll_meta

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
mysql> show tables;
+--------------------------------------+
| Tables_in_eggroll_meta               |
+--------------------------------------+
| componentsummary                     |
| server_node                          |
| session_main                         |
| session_option                       |
| session_processor                    |
| store_locator                        |
| store_option                         |
| store_partition                      |
| t_component_summary_20210903         |
| t_component_summary_20210904         |
| t_component_summary_20210905         |
| t_component_summary_20210906         |
| t_engine_registry                    |
| t_job                                |
| t_machine_learning_model_info        |
| t_model_operation_log                |
| t_model_tag                          |
| t_session_record                     |
| t_storage_table_meta                 |
| t_tags                               |
| t_task                               |
| t_tracking_metric_20210903           |
| t_tracking_metric_20210904           |
| t_tracking_metric_20210905           |
| t_tracking_metric_20210906           |
| t_tracking_output_data_info_20210903 |
| t_tracking_output_data_info_20210904 |
| t_tracking_output_data_info_20210905 |
| t_tracking_output_data_info_20210906 |
| trackingmetric                       |
| trackingoutputdatainfo               |
+--------------------------------------+
31 rows in set (0.00 sec)

一共有22张表，其中componentsummary 和t_component_summary_YYYYMMDD 同属一个MODEL，trackingmetric 和 t_tracking_metric_YYYYMMDD 同属一个MODEL，trackingoutputdatainfo 和t_tracking_output_data_info_YYYYMMDD 同属一个MODEL。
可以看到 t_job、t_task、t_tracking_metric、t_tracking_output_data_info、t_machine_learning_model_info、t_model_tag、t_tags、t_component_summary、t_model_operation_log、t_engine_registry 等10个model 涉及的表在init_flow_db() 中创建。
t_storage_table_meta、t_session_record 两张表 在init_arch_db()
详细说明参考FATE学习：跟着日志读源码（二）fate_flow server 启动，这部分表都是用于记录job task 状态，元数据等信息的。

剩余的 7张表可以分成两部分
Part1 Store 部分，包括：

  • store_option：记录了操作storage 的操作记录，store_option_id 为自增唯一键，用来和其他表关联。
  • store_locator：记录了storage的定位器。
  • store_partition：storage 的分区情况。

Part2 Session部分，包括：

  • session_processor：记录了不同session 处理进程的情况
  • session_option：session 记录。
  • session_main

Part3 server_node

  • server_node ：各个节点的健康状况。