dagster

A collection of 5 posts
Dagster Schedules
dagster

Dagster Schedules

Schedules # [https://docs.dagster.io/concepts/partitions-schedules-sensors/schedules#schedules] Dagster จะมี scheduler ที่สามารถใช้สั่งงานตามช่วงเวลา Relevant APIs * @daily_schedule [https://docs.dagster.io/_apidocs/schedules-sensors#dagster.daily_schedule] Decorator ตัวนี้จะใช้กำหนดให้ทำงานแบบรายวัน * @hourly_schedule [https://docs.dagster.io/_apidocs/schedules-sensors#dagster.hourly_schedule] Decorator ตั
3 min read
ติดตั้งและทดลองใช้งาน dagster
dagster Featured

ติดตั้งและทดลองใช้งาน dagster

การใช้งาน Dagster ต้องมีการ config Dagster Instance ก่อน สำหรับ Storages ในการเก็บข้อมูล Run Storage [https://docs.dagster.io/deployment/dagster-instance#run-storage], Event Storage [https://docs.dagster.io/deployment/dagster-instance#event-log-storage] และ Schedule Storage [https://docs.dagster.io/deployment/dagster-instance#schedule-storage] ซึ่งสามารถใช้งานได้กั
2 min read
Dagster Instance การกำหนดค่า config ใน dagster.yaml
dagster

Dagster Instance การกำหนดค่า config ใน dagster.yaml

Overview DagsterInstance [https://docs.dagster.io/_apidocs/internals#dagster.DagsterInstance] คือตัวกำหนดค่าที่ Dagster ต้องการ โดยจะ config ทำใน dagster.yaml ตัวอย่างเช่น ตำแหน่งที่จะจัดเก็บ history การรันที่ผ่านมาและบันทึกที่เกี่ยวข้อง การสตรีม raw logs จากฟังก์ชันการคำนวณของ solid
7 min read
Dagster / Modes and Resources
dagster

Dagster / Modes and Resources

Resources จัดเตรียมวิธีในการจัดการ external APIs ร่วมกับ modes สามารถใช้ในสภาพแวดล้อมของการ execution ที่แตกต่างกันหลายแบบสำหรับ pipeline Relevant APIs * @resource [https://docs.dagster.io/_apidocs/modes-resources#dagster.resource] ใช้ decorator เพื่อกำหนดว่าเป็น resources ตัว decorated function นี้คือการเรียก resource_
2 min read
Dagster / Solids and Pipelines
dagster

Dagster / Solids and Pipelines

# [https://docs.dagster.io/concepts/solids-pipelines/solids] Solids and Pipelines Solids และ Pipelines คือการสร้าง blocks ของ Dagster code. ใช้สิ่งเหล่านี้เพื่อกำหนด orchestration graphs. ส่วนนี้ครอบคลุมถึงวิธีการกำหนดและใช้งานทั้ง solids และ pipelines -------------------------------------------------------------------------------- Solids Solids เป็นหน่วยหน้าที่ของงานใน Dagster ใน
12 min read