Skip to content
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
19 changes: 13 additions & 6 deletions ONLINE_RESOURCE_COLLECTION.md
Original file line number Diff line number Diff line change
@@ -1,17 +1,24 @@
# Online tool/reference collection

인터넷이 열려 있는 턴에서 필요한 툴 패키지(wheel)와 UI/접근성 레퍼런스를 로컬로 저장하기 위한 작업 기록 문서.
인터넷이 열려 있는 턴에서 Python wheelhouse, 모델, 런타임 자산을 **공식 경로**에서만 수집하기 위한 작업 문서.

## Source catalog
- `resources/online_sources.json`
- `tool_packages`: 다운로드 대상 pip 패키지 목록
- `reference_urls`: 저장 대상 웹 레퍼런스 URL 목록
- `wheelhouse`: `name` + `version`(고정)으로 수집할 Python 패키지 목록
- `model_assets`: 모델 관련 자산 URL + `official_base`
- `runtime_assets`: 런타임 자산 URL + `official_base`

## Collector
- `scripts/collect_online_assets.py`
- pip wheel 다운로드 시도 (`.online_assets/wheels`)
- 레퍼런스 HTML 다운로드 시도 (`.online_assets/references`)
- 결과 리포트 생성 (`.online_assets/meta/collection_report.json`)
- wheelhouse 다운로드 (`.online_assets/wheelhouse`)
- PyPI 공식 인덱스(`https://pypi.org/simple`)로만 다운로드
- 모델 자산 다운로드 (`.online_assets/models`)
- 런타임 자산 다운로드 (`.online_assets/runtime`)
- SHA256 + 버전 고정 정보를 담은 manifest 생성
- `.online_assets/meta/collection_manifest.json`
- 수집 리포트 생성
- `.online_assets/meta/collection_report.json`
- 설치 가능(`installable`) / 불가(`blocked_or_failed`) / 보류(`defer`) 분리

## Run
```bash
Expand Down
41 changes: 29 additions & 12 deletions resources/online_sources.json
Original file line number Diff line number Diff line change
@@ -1,16 +1,33 @@
{
"tool_packages": [
"matplotlib",
"pandas",
"jupyterlab",
"pytest",
"playwright"
"wheelhouse": [
{"name": "matplotlib", "version": "3.9.2"},
{"name": "pandas", "version": "2.2.3"},
{"name": "jupyterlab", "version": "4.2.5"},
{"name": "pytest", "version": "8.3.3"},
{"name": "playwright", "version": "1.47.0"}
],
"reference_urls": [
"https://www.w3.org/WAI/WCAG22/quickref/",
"https://developer.mozilla.org/en-US/docs/Web/Accessibility/ARIA",
"https://developer.mozilla.org/en-US/docs/Web/API/Fetch_API",
"https://developer.mozilla.org/en-US/docs/Web/JavaScript/Reference/Global_Objects/Intl",
"https://web.dev/articles/loading-patterns"
"model_assets": [
{
"name": "ollama_install_script",
"url": "https://ollama.com/install.sh",
"official_base": "https://ollama.com/"
}
],
"runtime_assets": [
{
"name": "wcag_quickref",
"url": "https://www.w3.org/WAI/WCAG22/quickref/",
"official_base": "https://www.w3.org/WAI/"
},
{
"name": "mdn_aria",
"url": "https://developer.mozilla.org/en-US/docs/Web/Accessibility/ARIA",
"official_base": "https://developer.mozilla.org/en-US/docs/Web/"
},
{
"name": "mdn_fetch_api",
"url": "https://developer.mozilla.org/en-US/docs/Web/API/Fetch_API",
"official_base": "https://developer.mozilla.org/en-US/docs/Web/"
}
]
}
Loading