Admin/fquiz
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
482 Commits 1 Branch 0 Tags
899d5316cf65eb7584e702323e0daa95c203fc95
Commit Graph

26 Commits

Author SHA1 Message Date
chengkai3 899d5316cf feat:[FL-211][高程管理扁平化为文件记录] 
Co-authored-by: multica-agent <github@multica.ai>
 2026-06-20 18:03:27 +08:00
chengkai3 86870f4610 feat: 高程管理重构 - 从数据集中心到文件中心 
## 重构目标

将高程数据管理从"数据集中心"模式重构为"文件中心"模式，去掉 ElevationDataset 概念，
扁平化为 ElevationFileRecord，每条记录对应一个高程文件。

## 主要变更

### 数据库层
- 新增 `elevation_file_record` 表，合并原 dataset 核心字段
- 更新 `elevation_apply_job` 和 `elevation_data_import_job`，添加 `file_record_id` 字段
- 创建数据迁移脚本 `001_add_elevation_file_record.sql`
- 保留旧表用于向后兼容

### 后端 API
- 新增 `/api/v1/elevation/records` 路由组（推荐使用）
  - GET /records - 文件记录列表
  - POST /records - 上传文件并创建记录（上传即创建）
  - GET /records/{id} - 获取记录详情
  - PATCH /records/{id} - 更新记录
  - DELETE /records/{id} - 删除记录
  - POST /records/{id}/analyze - 触发分析
  - POST /records/{id}/terrain/build - 生成地形瓦片
  - GET /records/{id}/preview - 预览数据
- 保留 `/api/v1/elevation/datasets` 路由用于向后兼容
- Apply API 支持 `file_record_id` 和 `dataset_id` 双 ID

### 后端代码
- 新增 `elevation_file_record_service.py` (601 行)，包含完整 CRUD 和操作逻辑
- 新增模型 `ElevationFileRecord`
- 新增 Schema：FileRecordSummary, CreateRequest, UpdateRequest 等
- 新增 Celery 任务：
  - `analyze_elevation_file_record_job`
  - `build_elevation_file_record_terrain_job`
- 新增执行函数：
  - `execute_file_record_analysis_job`
  - `execute_file_record_terrain_build_job`
- 更新模型字段，支持双 ID 关联

### 前端
- 新增简化页面 `/admin/elevation-records` (542 行)
- 从原 1760 行简化到 542 行
- 上传即创建，无需先建数据集
- 每行直接对应一个文件
- 操作更直观

### 文档
- 新增 `REFACTOR_SUMMARY.md` 完整重构说明
- 新增 `api/migrations/README.md` 迁移指南

## 用户体验改进

旧流程（4步）：
1. 创建数据集（填编码+名称）
2. 导入文件到数据集
3. 分析数据集
4. 预览/地形/回填

新流程（2步）：
1. 上传文件（填来源+分辨率）→ 自动创建+分析
2. 预览/地形/回填

## 向后兼容

- 保留旧表和旧 API，新旧系统可并存
- Apply Job 同时支持新旧 ID
- 提供平滑迁移路径

## 技术指标

- 代码简化：前端从 1760 行 → 542 行（-69%）
- 概念简化：去除"数据集"中间层
- API 数量：新增 8 个文件记录端点

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
 2026-06-20 09:01:16 +08:00
chengkai3 07735fb23f feat: [FL-104][高程数据管理中文件明细要展示各个文件的坐标范围] 
- 添加 ElevationDatasetFileMeta 数据库模型存储文件级别坐标范围
- 更新 API schema 和 service，返回每个文件的 bbox 信息
- 修改高程数据分析任务，遍历目录所有文件并提取坐标范围
- 前端文件明细表格新增坐标范围列
- 创建数据库迁移脚本

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
Co-authored-by: multica-agent <github@multica.ai>
 2026-06-13 07:59:08 +08:00
chengkai3 2a5cbe474b fix:[FL-92][高程数据管理预览时地形图渲染不出来] - 添加minzoom字段 
修复地形图layer.json缺少minzoom字段导致Cesium无法正确加载地形的问题。

根本原因：
- Cesium地形加载需要layer.json同时包含minzoom和maxzoom字段
- 之前只有maxzoom字段，导致Cesium不知道从哪个层级开始加载地形
- 虽然瓦片数据正常（API返回200），但前端无法正确渲染三维地形

修改内容：
1. 在ElevationTerrainLayerResponse模型中添加minzoom字段（schemas/elevation.py）
2. 在地形构建代码中设置minzoom=0（services/elevation_service.py）
3. 地形瓦片的zoom level范围现在完整定义为0-6

影响：
- 已构建的地形数据需要重新触发构建任务才能生成包含minzoom的新layer.json
- 新构建的地形将自动包含minzoom字段

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
Co-authored-by: multica-agent <github@multica.ai>
 2026-06-12 22:57:25 +08:00
chengkai3 c6d547a985 feat: 高程导入改为异步非阻塞，避免大文件上传时前端长时间等待 
改动范围：
- api/app/services/elevation_service.py
- web/src/app/admin/elevation/page.tsx

改动点：

1. API 端快速返回（elevation_service.py）
   - 修改 `import_dataset_data_files`：不再在请求内同步执行暂存
   - 新增 `_prepare_upload_files_for_staging`：快速读取上传文件并序列化为 base64
   - API 端立即创建任务并返回，文件内容暂存在 `staged_files_json`

2. Worker 端异步暂存（elevation_service.py）
   - 修改 `execute_dataset_data_import_job`：从 `staged_files_json` 读取文件
   - 新增 `_stage_dataset_import_job_uploads_from_serialized`：从序列化数据恢复并暂存
   - Worker 负责完整的"暂存→导入→分析"流程

3. 前端阶段展示（page.tsx）
   - 更新 `importJobStageLabel`：添加 "pending" 和 "staging" 阶段标签
   - 用户可看到"等待执行"和"暂存文件"等阶段

关联影响：
- 数据库 `staged_files_json` 字段存储格式变更（存储序列化的文件内容）
- 任务初始状态改为 "pending"，Worker 启动后变为 "staging"

技术方案：
- 采用 base64 序列化文件内容存入数据库
- 保持现有暂存目录和清理逻辑不变
- WebSocket 进度推送机制继续有效

验证：
- Python 语法检查通过
- 修改符合现有代码风格和约定

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
Co-authored-by: multica-agent <github@multica.ai>
 2026-06-12 12:42:17 +08:00
chengkai3 61a1954034 [feat]:[FL-80][高程数据导入异步并支持进度回看] 
Co-authored-by: multica-agent <github@multica.ai>
 2026-06-10 15:38:10 +08:00
chengkai3 3a8027803c [fix/feat]:[FL-77][修复杆塔高程回填任务 actor_user_id 传递] 
Co-authored-by: multica-agent <github@multica.ai>
 2026-06-10 08:31:11 +08:00
chengkai3 2a54857fe1 [fix/feat]:[FL-76][高程数据导入报错] 
Co-authored-by: multica-agent <github@multica.ai>
 2026-06-10 08:26:51 +08:00
chengkai3 2ad2405cd3 [fix/feat]:[FL-74][高程数据支持DEM地形瓦片预览和线路地形图] 
Co-authored-by: multica-agent <github@multica.ai>
 2026-06-10 00:26:09 +08:00
chengkai3 4e2b3dcdad [fix]:[FL-57][统一计算任务到 Celery worker] 
Co-authored-by: multica-agent <github@multica.ai>
 2026-06-09 08:29:10 +08:00
chengkai3 aebf152cd4 [migrate]:[FL-24][参数准备闭环与就绪校验] 
Co-authored-by: multica-agent <github@multica.ai>
 2026-06-07 20:37:53 +08:00
Admin 7c121b8948 优化高程数据管理交互并补充分析进度与文件明细能力 
Co-authored-by: multica-agent <github@multica.ai>
 2026-05-03 15:24:47 +08:00
Admin a09d12c3c3 修复高程预览rasterio.warp子模块未加载导致采样失败 
Co-authored-by: multica-agent <github@multica.ai>
 2026-05-03 15:00:34 +08:00
Admin 0952edd402 支持高程批量导入进度与异步分析任务监控 
Co-authored-by: multica-agent <github@multica.ai>
 2026-05-03 14:20:19 +08:00
Admin df7c6ca14e 完成高程数据集优化并支持多文件导入自动分析 
Co-authored-by: multica-agent <github@multica.ai>
 2026-05-03 13:42:51 +08:00
Admin 3362b6b67e 展示sample_tx_err首条异常原文 
Co-authored-by: multica-agent <github@multica.ai>
 2026-05-03 12:14:32 +08:00
Admin 779acf8e1e 支持高程数据管理批量导入 
Co-authored-by: multica-agent <github@multica.ai>
 2026-05-03 11:59:40 +08:00
Admin 4b0c7eda69 新增高程预览诊断信息面板 
Co-authored-by: multica-agent <github@multica.ai>
 2026-05-03 11:29:06 +08:00
Admin 244834c549 支持高程数据集删除 
Co-authored-by: multica-agent <github@multica.ai>
 2026-05-03 11:13:25 +08:00
Admin 556da5c155 改造高程预览为地形网格渲染 
Co-authored-by: multica-agent <github@multica.ai>
 2026-05-03 10:43:23 +08:00
Admin 8672f4b7cc 新增高程数据Cesium预览功能 
Co-authored-by: multica-agent <github@multica.ai>
 2026-05-03 10:00:16 +08:00
Admin fd265a893e 修复高程分析 rasterio 缺失报错并增加栅格能力校验 
Co-authored-by: multica-agent <github@multica.ai>
 2026-05-03 00:12:43 +08:00
chengkai3 cf0a5c978e refactor: remove scheduler service and unify celery dispatch 2026-05-02 10:22:34 +08:00
chengkai3 0019aa0fba feat: add scheduler and flower monitoring with worker registry 2026-05-01 21:05:42 +08:00
chengkai3 850a2e7bc3 feat: support img/tif elevation dataset apply workflow 2026-05-01 18:09:38 +08:00
chengkai3 e5a33d7f9a feat: add elevation dataset management and line altitude apply jobs 2026-05-01 17:10:19 +08:00