Lorem ipsum: dolor sit amet

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat.

💡What this post covers

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Sed do eiusmod tempor incididunt ut labore et dolore magna aliqua — specifically the parts the documentation glosses over.

Lorem ipsum dolor sit amet

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Pellentesque habitant morbi tristique senectus et netus et malesuada fames ac turpis egestas. Vestibulum tortor quam, feugiat vitae, ultricies eget, tempor sit amet, ante.

Donec eu libero sit amet quam egestas semper. Aenean ultricies mi vitae est. Mauris placerat eleifend leo. Quisque sit amet est et sapien ullamcorper pharetra.

import dlt
from pyspark.sql.functions import col

@dlt.table(
    name="cleaned_events",
    comment="Lorem ipsum dolor sit amet",
)
def cleaned_events():
    return (
        dlt.read("raw_events")
        .filter(col("event_type").isNotNull())
        .withColumnRenamed("occurred_at", "event_timestamp")
    )

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Curabitur pretium tincidunt lacus. Nulla gravida orci a odio, et tempus feugiat.

⚠️Watch out

Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat. Duis aute irure dolor in reprehenderit in voluptate.

Lorem ipsum dolor sit amet

Lorem ipsum dolor sit amet, consectetur adipiscing elit:

• Declarative pipelines — Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor
• Automatic data quality — Ut enim ad minim veniam, quis nostrud exercitation ullamco
• Incremental processing — Duis aute irure dolor in reprehenderit in voluptate velit esse cillum
• Built-in lineage — Excepteur sint occaecat cupidatat non proident, sunt in culpa

Sed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium doloremque laudantium, totam rem aperiam, eaque ipsa quae ab illo inventore veritatis et quasi architecto beatae vitae dicta sunt explicabo.

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Nemo enim ipsam voluptatem quia voluptas sit aspernatur aut odit aut fugit, sed quia consequuntur magni dolores.

Lorem ipsum dolor sit amet

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Nemo enim ipsam voluptatem quia voluptas sit aspernatur aut odit aut fugit:

1. Complex branching logic — Sed quia consequuntur magni dolores eos qui ratione sequi nesciunt
2. Non-standard compute requirements — Neque porro quisquam est qui dolorem ipsum quia dolor sit
3. Tight cost constraints — At vero eos et accusamus et iusto odio dignissimos ducimus

# A pattern that works better outside DLT
from pyspark.sql import SparkSession

spark = SparkSession.builder.getOrCreate()

df = spark.read.format("delta").load("abfss://raw@datalake.dfs.core.windows.net/events/")

result = (
    df.filter("event_type IS NOT NULL")
      .groupBy("event_type")
      .count()
)

result.write.format("delta").mode("overwrite").save("abfss://curated@datalake.dfs.core.windows.net/event_counts/")

✅A useful shortcut

Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum. Sed ut perspiciatis unde omnis iste natus error.

Lorem ipsum dolor sit amet

Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt ut labore et dolore magna aliqua. Ut enim ad minim veniam, quis nostrud exercitation ullamco laboris nisi ut aliquip ex ea commodo consequat.

Scenario	Use DLT	Skip DLT
Lorem ipsum dolor	✓
Consectetur adipiscing		✓
Sed do eiusmod tempor	✓
Ut labore et dolore		✓

🚨Don't do this

Duis aute irure dolor in reprehenderit in voluptate velit esse cillum dolore eu fugiat nulla pariatur. Excepteur sint occaecat cupidatat non proident.

Excepteur sint occaecat cupidatat non proident, sunt in culpa qui officia deserunt mollit anim id est laborum. Sed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium doloremque laudantium.