geoskill-data-catalog-generator

扫描目录中的栅格与矢量文件，提取元数据并分类，生成可浏览的 HTML / CSV 数据目录。Scan raster and vector files in a directory, extract and classify metadata, and generate a browsable HTML / CSV data catalog.

数据目录生成器 | Data Catalog Generator

Scans geospatial data files in a directory, extracts and classifies metadata, and generates a browsable data catalog:

• Scan: traverses the directory recursively or non-recursively, identifies raster (.tif) and vector (.geojson/.shp/.gpkg) files by extension, and automatically skips Shapefile auxiliary files (.shx/.dbf/.prj).
• Metadata extraction: reads size, band count, CRS, extent, resolution, and dtype for rasters (rasterio); feature count, geometry type, CRS, extent, and attribute fields for vectors (geopandas). Unparseable files are recorded as error without interrupting the overall workflow.
• Classification: subdivides by type (single-band / multispectral / hyperspectral raster; point / line / polygon / mixed vector) and CRS family (WGS 84 / Web Mercator / UTM projected / unknown).
• Catalog output: catalog.csv (one row per file), catalog.html (a styled table with summary cards), catalog.json (full machine-readable dump).

Ideal for data asset inventories, project data manifests, and data-sharing pages. --synthetic mode generates a mixed source set of tif×2 + geojson + shp + gpkg.

Dependencies / 依赖

bash

pip install numpy rasterio geopandas shapely fiona pyproj

Usage / 使用方法

Basic Usage

bash

python geoskill-data-catalog-generator.py --bbox 116.0 39.0 117.0 40.0 --synthetic --output-dir ./out

Example 1 (synthetic data, offline)

bash

python geoskill-data-catalog-generator.py --bbox 116.0 39.0 117.0 40.0 --synthetic --output-dir ./catalog

Example 2: recursively scan a project data directory

bash

python geoskill-data-catalog-generator.py --input ./project_data --recursive --output-dir ./inventory

Example 3: single-level scan (non-recursive)

bash

python geoskill-data-catalog-generator.py --input ./delivery --output-dir ./delivery_catalog

Example 4: generate a catalog page for a shared directory

bash

python geoskill-data-catalog-generator.py --input /data/shared --recursive --output-dir ./shared_catalog --quiet

Example 5: synthetic + custom raster size

bash

python geoskill-data-catalog-generator.py --bbox 121.0 31.0 122.0 32.0 --synthetic --size 32 --output-dir ./cat2

Output / 输出

File	Format	Description
catalog.html	HTML	Styled catalog table with summary cards
catalog.csv	CSV	One row of metadata per file
catalog.json	JSON	Full machine-readable metadata + summary
output-manifest.json	JSON	Run manifest

Data Source / 数据源 / Source

• --input: local file or directory
• --synthetic: locally generated mixed source set

Privacy / 隐私声明 / Privacy

• Runs offline by default; --synthetic mode requires no network at all.
• All processing is done locally; no user data is uploaded.

License / License

MIT

---

---

name: geoskill-data-catalog-generator description: '扫描目录中的栅格与矢量文件，提取元数据并分类，生成可浏览的 HTML / CSV 数据目录。Scan raster and vector files in a directory, extract and classify metadata, and generate a browsable HTML / CSV data catalog.'

数据目录生成器 | Data Catalog Generator

扫描目录中的地理数据文件，提取元数据并分类，生成可浏览的数据目录：

• 扫描：递归/非递归遍历目录，按扩展名识别栅格（.tif）与矢量 （.geojson/.shp/.gpkg）文件，自动跳过 Shapefile 辅助文件（.shx/.dbf/ .prj）。
• 元数据提取：栅格读尺寸、波段数、CRS、范围、分辨率、dtype（rasterio）； 矢量读要素数、几何类型、CRS、范围、属性字段（geopandas）。无法解析的 文件记为 error 而不中断整体流程。
• 分类：按类型细分（单波段/多光谱/高光谱栅格；点/线/面/混合矢量） 与 CRS 家族（WGS 84 / Web Mercator / UTM 投影 / 未知）。
• 目录输出：catalog.csv（每文件一行）、catalog.html（带汇总卡片的 样式化表格）、catalog.json（机读全量）。

适合数据资产盘点、项目数据清单生成、数据共享页面。--synthetic 模式 生成 tif×2 + geojson + shp + gpkg 混合源集。

依赖

bash

pip install numpy rasterio geopandas shapely fiona pyproj

使用方法

基本用法

bash

python geoskill-data-catalog-generator.py --bbox 116.0 39.0 117.0 40.0 --synthetic --output-dir ./out

示例 1（合成数据，离线）

bash

python geoskill-data-catalog-generator.py --bbox 116.0 39.0 117.0 40.0 --synthetic --output-dir ./catalog

示例 2：递归扫描项目数据目录

bash

python geoskill-data-catalog-generator.py --input ./project_data --recursive --output-dir ./inventory

示例 3：单层扫描（不递归）

bash

python geoskill-data-catalog-generator.py --input ./delivery --output-dir ./delivery_catalog

示例 4：为共享目录生成目录页

bash

python geoskill-data-catalog-generator.py --input /data/shared --recursive --output-dir ./shared_catalog --quiet

示例 5：合成 + 自定义栅格尺寸

bash

python geoskill-data-catalog-generator.py --bbox 121.0 31.0 122.0 32.0 --synthetic --size 32 --output-dir ./cat2

输出

文件	格式	说明
catalog.html	HTML	带汇总卡片的样式化目录表
catalog.csv	CSV	每文件一行元数据
catalog.json	JSON	机读全量元数据 + 汇总
output-manifest.json	JSON	运行清单

数据源 / Source

• --input：本地文件或目录
• --synthetic：本地生成混合源集

隐私声明 / Privacy

• 默认离线运行，--synthetic 模式完全无网络。
• 所有处理在本地完成，不上传用户数据。

License

MIT