# Thailand Air Quality ETL & Streaming Pipeline

โปรเจคนี้ออกแบบมาเพื่อทำ **ETL (Extract, Transform, Load)** และ **Streaming Pipeline** สำหรับข้อมูลคุณภาพอากาศในประเทศไทย  
โดยสามารถนำข้อมูลที่ได้ไปใช้งานด้าน **Data Visualization** หรือ **AI Model Training** ในอนาคตได้

---

## 📋 ฟีเจอร์หลัก

- **Extract:** ดึงข้อมูลคุณภาพอากาศจากแหล่งข้อมูล (API)
- **Save:** เก็บข้อมูลดิบ (Raw Data) ลง **MinIO** (S3-compatible storage)
- **Stream:** ส่งข้อมูลเข้า **Apache Kafka** ผ่าน **Kafka REST Proxy**
- **Transform:** แปลงข้อมูลให้อยู่ในรูปแบบที่เหมาะสม
- **Load:** บันทึกข้อมูลลงฐานข้อมูล **ClickHouse** เพื่อการวิเคราะห์ต่อไป

---

## ⚙️ เทคโนโลยีที่ใช้

- **Python** (ETL Core)
- **ClickHouse** (Data Warehouse)
- **Kafka** (Message Streaming)
- **MinIO** (S3-compatible Object Storage)
- **Pydantic** (Data Validation)
- **requests** (API Communication)

---

## 🛠️ โครงสร้างระบบ (Data Flow)

```plaintext
[Air Quality API]
        ↓
[fetch_air_quality()]
        ↓
[save_to_minio()]
        ↓
[send_to_kafka()]
        ↓
[consume_kafka_and_process()]
        ↓
[transform_json()]
        ↓
[insert_to_clickhouse()]
```

## 📈 โอกาสในการต่อยอด

โปรเจคนี้สามารถนำไปใช้ในการพัฒนาและขยายระบบได้ตามแนวทางต่าง ๆ ที่กล่าวถึงด้านล่าง:

### 1. **เชื่อมต่อข้อมูลไปยังเครื่องมือ BI**
   - สามารถใช้ **BI** เพื่อสร้างแดชบอร์ดสำหรับการวิเคราะห์ข้อมูลคุณภาพอากาศแบบ **Real-Time** หรือ **Historical Data** จาก **ClickHouse**.
   - การเชื่อมต่อสามารถทำได้ง่าย ๆ โดยการตั้งค่า **Data Source** สำหรับ **ClickHouse** ในเครื่องมือ BI ที่เลือก โดยการตั้งค่าให้ตรงกับรายละเอียดการเชื่อมต่อในไฟล์ `.env` ที่ได้กำหนดไว้ในโปรเจค
   - **BI** สามารถช่วยให้คุณสร้างการวิเคราะห์ในรูปแบบกราฟ แผนภูมิ และรายงานต่าง ๆ เพื่อแสดงผลคุณภาพอากาศในพื้นที่ต่าง ๆ

### 2. **พัฒนาระบบ Real-Time Air Quality Monitoring Dashboard**
   - ใช้ข้อมูลจาก **Kafka** ที่กำลังไหลเข้ามาในระบบเพื่อนำมาวิเคราะห์และแสดงผล **Real-Time** บน **Dashboard**.
   - สามารถสร้าง **Web Dashboard** ที่แสดงผลแบบ **Live Updates** โดยการใช้งาน **Grafana** หรือ **Custom Web App** ที่ดึงข้อมูลจาก **Kafka** หรือ **ClickHouse**.
   - **Real-Time Monitoring** สามารถใช้เพื่อเฝ้าระวังคุณภาพอากาศในแต่ละพื้นที่ได้ทันที พร้อมทั้งแสดงค่าดัชนีคุณภาพอากาศ (AQI) และสารมลพิษต่าง ๆ ที่มีผลกระทบต่อสุขภาพ

### 3. **สร้างโมเดล AI เพื่อทำนายคุณภาพอากาศในอนาคต**
   - ข้อมูลจาก **ClickHouse** สามารถนำไปฝึกโมเดล **AI/ML** สำหรับการทำนาย **Air Quality Index (AQI)** ในอนาคต โดยใช้ข้อมูลจากประวัติย้อนหลัง (Historical Data).
   - โมเดลที่ได้สามารถช่วยในการคาดการณ์ระดับ **PM2.5**, **PM10**, และสารมลพิษอื่น ๆ เพื่อให้สามารถแจ้งเตือนล่วงหน้าหรือวางแผนเพื่อรับมือกับภาวะมลพิษ
   - ตัวอย่างเทคนิคที่สามารถนำมาใช้ เช่น **Time Series Forecasting** ด้วยเครื่องมืออย่าง **ARIMA**, **Prophet**, หรือ **LSTM (Long Short-Term Memory)**

### 4. **สร้างระบบแจ้งเตือนอัตโนมัติเมื่อ AQI เกินเกณฑ์**
   - พัฒนาระบบ **Alert System** เพื่อแจ้งเตือนเมื่อค่า **AQI** หรือ **ระดับมลพิษ** เกินเกณฑ์ที่กำหนด
   - ระบบสามารถใช้ **Kafka Consumer** ที่รับข้อมูล **Real-Time** เพื่อเช็คว่า AQI เกินเกณฑ์ที่ตั้งไว้หรือไม่ และแจ้งเตือนผ่าน **Email**, **SMS**, หรือ **Push Notification** (ผ่านช่องทางต่าง ๆ เช่น **Twilio**, **Firebase Cloud Messaging**, หรือ **Telegram Bot**)
   - การแจ้งเตือนนี้สามารถช่วยในการรับมือกับปัญหามลพิษและเตือนประชาชนให้หลีกเลี่ยงพื้นที่ที่มีมลพิษสูง

---

## 📈 ตัวอย่าง Dashboard

ตัวอย่างการสร้าง Dashboard ที่แสดงข้อมูลคุณภาพอากาศและการทำนาย AQI ในอนาคตโดยใช้ข้อมูลจาก ClickHouse และ AI สนับสนุน Data-driven decision:
https://analytics.softwarecraft.tech/public/dashboard/0107425a-50aa-4fd6-8d78-d29f4c9d76ae

---

## ตัวอย่าง Data-Driven Decision Platform

MLOps Pipeline + Model Management API + BI Integration + Lakehouse Architecture ขนาดย่อม ที่พัฒนาบนพื้นฐานของโปรเจคนี้ ประกอบด้วย

1 Data and Prediction Pipeline: มีการทำงานแบบ Async Pipeline (Ingestion และ Prediction) ที่มีการจัดการวงจรชีวิตโมเดล AI ตั้งแต่การพัฒนาไปจนถึงการใช้งานจริง โดยรองรับการรวบรวม จัดเตรียมข้อมูล และการใช้โมเดล MindsDB ในการวิเคราะห์และทำนายแนวโน้ม

2 Model Registry & Serving: ระบบมี API ครบชุดสำหรับการจัดการและให้บริการโมเดล ซึ่งประกอบด้วย:
 - การลงทะเบียน (Register): ลงทะเบียน Metadata ของโมเดล (ทั้ง MindsDB และ Custom Models) ลงใน CKAN Registry
 - การให้บริการ (Unified Predict): มี Endpoint เดียว (/v1/model/predict) สำหรับให้บริการทำนายผล โดยระบบจะ Dispatch การเรียกใช้งานไปยัง MindsDB หรือ Custom Model โดยอัตโนมัติ
 - การควบคุม (Governance): มีการควบคุมสิทธิ์การเข้าถึง (RBAC) และ Endpoint สำหรับตรวจสอบ สถานะสุขภาพ และ Metadata ของโมเดลใน Production ได้อย่างละเอียด

3 รองรับการเชื่อมต่อกับ BI Tools (เช่น Metabase) เพื่อให้ผู้ใช้งานสามารถวิเคราะห์สถานการณ์ในอดีตและปัจจุบันได้อย่างมีประสิทธิภาพ โดย BI Tools สมัยใหม่รองรับทั้ง Descriptive Analytics และ Predictive Analytics ผ่านการใช้ AI และ Machine Learning 

4 ระบบใช้แนวคิด Lakehouse Architecture ซึ่งรวมข้อดีของ Data Lake และ Data Warehouse เข้าด้วยกัน มีขีดความสามารถด้านความเร็ว ความหลากหลาย และการรองรับ AI/ML สูง

ตัวอย่างระบบ (Backend)
https://data-decision-ops.softwarecraft.tech/docs

ระบบนี้เป็นตัวอย่าง Backbone ที่สามารถรองรับการพัฒนา Frontend Dashboard และ Mobile Application ที่ต้องการข้อมูลและผลการทำนายที่รวดเร็วและน่าเชื่อถือได้ในอนาคต

---

## 📜 License

โปรเจคนี้แจกจ่ายภายใต้ **MIT License**