Tagged

dagster

A collection of 5 posts

Dagster Schedules
dagster

Dagster Schedules

Schedules #Dagster จะมี scheduler ที่สามารถใช้สั่งงานตามช่วงเวลา Relevant [email protected]_schedule Decorator ตัวนี้จะใช้กำหนดให้ทำงานแบบรายวัน@hourly_schedule Decorator ตัวนี้จะใช้กำหนดให้ทำงานแบบรายวชั่วโมง@weekly_schedule Decorator ตัวนี้จะใช้กำหนดให้ทำงานแบบรายสัปดาห์@monthly_schedule Decorator ตัวนี้จะใช้กำหนดให้ทำงานแบบรายเดือน@schedule Decorator เป็

ติดตั้งและทดลองใช้งาน dagster
dagster

ติดตั้งและทดลองใช้งาน dagster

การใช้งาน Dagster ต้องมีการ config Dagster Instance ก่อน สำหรับ Storages ในการเก็บข้อมูล Run Storage, Event Storage และ Schedule Storage ซึ่งสามารถใช้งานได้กับ Sqlite DB, Postgres DB และ MySQL DB การใช้งานร่วมกับ Sqlite จะมีข้อจำกัดเรื่อง Assets page จะไม่

Dagster Instance การกำหนดค่า config ใน dagster.yaml
dagster

Dagster Instance การกำหนดค่า config ใน dagster.yaml

OverviewDagsterInstance คือตัวกำหนดค่าที่ Dagster ต้องการ โดยจะ config ทำใน dagster.yaml ตัวอย่างเช่น ตำแหน่งที่จะจัดเก็บ history การรันที่ผ่านมาและบันทึกที่เกี่ยวข้อง การสตรีม raw logs จากฟังก์ชันการคำนวณของ solid วิธีจัดเก็บ local artifacts ในเครื่องและวิ

Dagster / Modes and Resources
dagster

Dagster / Modes and Resources

Resources จัดเตรียมวิธีในการจัดการ external APIs ร่วมกับ modes สามารถใช้ในสภาพแวดล้อมของการ execution ที่แตกต่างกันหลายแบบสำหรับ pipeline Relevant [email protected] ใช้ decorator เพื่อกำหนดว่าเป็น resources ตัว decorated function นี้คือการเรียก resource_fn โดยจะ return ResourceDefinitionResourceDefinition คือ Class สำหรั

Dagster / Solids and Pipelines
dagster

Dagster / Solids and Pipelines

# Solids and PipelinesSolids และ Pipelines คือการสร้าง blocks ของ Dagster code. ใช้สิ่งเหล่านี้เพื่อกำหนด orchestration graphs. ส่วนนี้ครอบคลุมถึงวิธีการกำหนดและใช้งานทั้ง solids และ pipelines SolidsSolids เป็นหน่วยหน้าที่ของงานใน Dagster ใน solid แต่ละ unit จะมีความรับผิดชอบคืออ่านข้