# Thailand Air Quality ETL & Streaming Pipeline

โปรเจคนี้ออกแบบมาเพื่อทำ **ETL (Extract, Transform, Load)** และ **Streaming Pipeline** สำหรับข้อมูลคุณภาพอากาศในประเทศไทย  
โดยสามารถนำข้อมูลที่ได้ไปใช้งานด้าน **Data Visualization** หรือ **AI Model Training** ในอนาคตได้

---

## 📋 ฟีเจอร์หลัก

- **Extract:** ดึงข้อมูลคุณภาพอากาศจากแหล่งข้อมูล (API)
- **Save:** เก็บข้อมูลดิบ (Raw Data) ลง **MinIO** (S3-compatible storage)
- **Stream:** ส่งข้อมูลเข้า **Apache Kafka** ผ่าน **Kafka REST Proxy**
- **Transform:** แปลงข้อมูลให้อยู่ในรูปแบบที่เหมาะสม
- **Load:** บันทึกข้อมูลลงฐานข้อมูล **ClickHouse** เพื่อการวิเคราะห์ต่อไป

---

## ⚙️ เทคโนโลยีที่ใช้

- **Python** (ETL Core)
- **ClickHouse** (Data Warehouse)
- **Kafka** (Message Streaming)
- **MinIO** (S3-compatible Object Storage)
- **Pydantic** (Data Validation)
- **requests** (API Communication)

---

## 🛠️ โครงสร้างระบบ (Data Flow)

```plaintext
[Air Quality API]
        ↓
[fetch_air_quality()]
        ↓
[save_to_minio()]
        ↓
[send_to_kafka()]
        ↓
[consume_kafka_and_process()]
        ↓
[transform_json()]
        ↓
[insert_to_clickhouse()]
```

## 📈 โอกาสในการต่อยอด

โปรเจคนี้สามารถนำไปใช้ในการพัฒนาและขยายระบบได้ตามแนวทางต่าง ๆ ที่กล่าวถึงด้านล่าง:

### 1. **เชื่อมต่อข้อมูลไปยังเครื่องมือ BI**
   - สามารถใช้ **BI** เพื่อสร้างแดชบอร์ดสำหรับการวิเคราะห์ข้อมูลคุณภาพอากาศแบบ **Real-Time** หรือ **Historical Data** จาก **ClickHouse**.
   - การเชื่อมต่อสามารถทำได้ง่าย ๆ โดยการตั้งค่า **Data Source** สำหรับ **ClickHouse** ในเครื่องมือ BI ที่เลือก โดยการตั้งค่าให้ตรงกับรายละเอียดการเชื่อมต่อในไฟล์ `.env` ที่ได้กำหนดไว้ในโปรเจค
   - **BI** สามารถช่วยให้คุณสร้างการวิเคราะห์ในรูปแบบกราฟ แผนภูมิ และรายงานต่าง ๆ เพื่อแสดงผลคุณภาพอากาศในพื้นที่ต่าง ๆ

### 2. **พัฒนาระบบ Real-Time Air Quality Monitoring Dashboard**
   - ใช้ข้อมูลจาก **Kafka** ที่กำลังไหลเข้ามาในระบบเพื่อนำมาวิเคราะห์และแสดงผล **Real-Time** บน **Dashboard**.
   - สามารถสร้าง **Web Dashboard** ที่แสดงผลแบบ **Live Updates** โดยการใช้งาน **Grafana** หรือ **Custom Web App** ที่ดึงข้อมูลจาก **Kafka** หรือ **ClickHouse**.
   - **Real-Time Monitoring** สามารถใช้เพื่อเฝ้าระวังคุณภาพอากาศในแต่ละพื้นที่ได้ทันที พร้อมทั้งแสดงค่าดัชนีคุณภาพอากาศ (AQI) และสารมลพิษต่าง ๆ ที่มีผลกระทบต่อสุขภาพ

### 3. **สร้างโมเดล AI เพื่อทำนายคุณภาพอากาศในอนาคต**
   - ข้อมูลจาก **ClickHouse** สามารถนำไปฝึกโมเดล **AI/ML** สำหรับการทำนาย **Air Quality Index (AQI)** ในอนาคต โดยใช้ข้อมูลจากประวัติย้อนหลัง (Historical Data).
   - โมเดลที่ได้สามารถช่วยในการคาดการณ์ระดับ **PM2.5**, **PM10**, และสารมลพิษอื่น ๆ เพื่อให้สามารถแจ้งเตือนล่วงหน้าหรือวางแผนเพื่อรับมือกับภาวะมลพิษ
   - ตัวอย่างเทคนิคที่สามารถนำมาใช้ เช่น **Time Series Forecasting** ด้วยเครื่องมืออย่าง **ARIMA**, **Prophet**, หรือ **LSTM (Long Short-Term Memory)**

### 4. **สร้างระบบแจ้งเตือนอัตโนมัติเมื่อ AQI เกินเกณฑ์**
   - พัฒนาระบบ **Alert System** เพื่อแจ้งเตือนเมื่อค่า **AQI** หรือ **ระดับมลพิษ** เกินเกณฑ์ที่กำหนด
   - ระบบสามารถใช้ **Kafka Consumer** ที่รับข้อมูล **Real-Time** เพื่อเช็คว่า AQI เกินเกณฑ์ที่ตั้งไว้หรือไม่ และแจ้งเตือนผ่าน **Email**, **SMS**, หรือ **Push Notification** (ผ่านช่องทางต่าง ๆ เช่น **Twilio**, **Firebase Cloud Messaging**, หรือ **Telegram Bot**)
   - การแจ้งเตือนนี้สามารถช่วยในการรับมือกับปัญหามลพิษและเตือนประชาชนให้หลีกเลี่ยงพื้นที่ที่มีมลพิษสูง

---

## 📈 ตัวอย่าง Dashboard

ตัวอย่างการสร้าง Dashboard ที่แสดงข้อมูลคุณภาพอากาศและการทำนาย AQI ในอนาคตโดยใช้ข้อมูลจาก ClickHouse และ AI สนับสนุน Data-driven decision:
https://analytics.softwarecraft.tech/public/dashboard/0107425a-50aa-4fd6-8d78-d29f4c9d76ae

---

# 🚀 ตัวอย่างการต่อยอดเป็น Data-Driven Decision Platform (DDDP)

แพลตฟอร์มการตัดสินใจที่ขับเคลื่อนด้วยข้อมูล (DDDP) ถูกออกแบบมาเพื่อบูรณาการ **MLOps, Data Management, และ Business Intelligence (BI)** เข้าด้วยกัน เพื่อสร้างระบบข้อมูลสำหรับการตัดสินใจเชิงกลยุทธ์ที่รวดเร็วและน่าเชื่อถือ

## โครงสร้างหลักและขีดความสามารถ (Core Architecture)

DDDP รวมสถาปัตยกรรมหลักเข้าไว้ด้วยกันเพื่อการจัดการข้อมูลแบบครบวงจร:

### 1. Lakehouse Architecture ขับเคลื่อนด้วย AI/ML
ระบบใช้แนวคิด **Lakehouse** (รวม Data Lake และ Data Warehouse) เพื่อให้ได้ขีดความสามารถด้าน **ความเร็ว** (Velocity), **ความหลากหลาย** (Variety) และรองรับการประมวลผลสำหรับงาน **AI/ML ระดับสูง**

### 2. Data & Prediction Pipeline (MLOps)
เป็นระบบอัตโนมัติที่จัดการวงจรชีวิตโมเดล AI ตั้งแต่ต้นจนจบ:
* **Async Pipeline:** รองรับการทำงานแบบไม่ประสานเวลา (Async) สำหรับการนำเข้าข้อมูล (Ingestion) และการประมวลผลเพื่อทำนาย (Prediction)
* **MindsDB Integration:** ใช้ MindsDB สำหรับการวิเคราะห์และทำนายแนวโน้มเชิงสถิติ

### 3. Model Registry & Serving (Unified API)
ให้บริการ API ที่ได้มาตรฐานสำหรับการจัดการและการเรียกใช้โมเดลทำนาย:
* **การลงทะเบียน (Register):** Metadata ของโมเดล (MindsDB & Custom Models) จะถูกลงทะเบียนใน **CKAN Registry**
* **การให้บริการ (Unified Predict):** มี Endpoint เดียว (`/v1/model/predict`) สำหรับให้บริการทำนายผล โดยระบบจะ Dispatch การเรียกใช้งานไปยังโมเดลที่เหมาะสมโดยอัตโนมัติ
* **Governance (RBAC):** มีการควบคุมสิทธิ์การเข้าถึง (Role-Based Access Control) และตรวจสอบสถานะของโมเดลใน Production

### 4. BI & Analytics
แพลตฟอร์มพร้อมสำหรับการวิเคราะห์ข้อมูลในหลากหลายมิติ:
* **BI Tool Integration:** รองรับการเชื่อมต่อกับเครื่องมือ **BI Tools** (เช่น Metabase) เพื่อการวิเคราะห์สถานการณ์ในอดีตและปัจจุบัน
* **Analytics Support:** รองรับทั้ง **Descriptive Analytics** (ข้อมูลในอดีต) และ **Predictive Analytics** (ข้อมูลทำนาย)

### 5. การเชื่อมต่อกับ AI Agents (Model Context Protocol - MCP)

ระบบรองรับมาตรฐาน **Model Context Protocol (MCP)** เพื่อให้ LLM Agents สามารถใช้ API ของเราเป็น "เครื่องมือ" ในการปฏิบัติงานได้:
* **LLM Service:** ให้บริการ **"เครื่องมือ" (Tools)** และ **"การค้นหาข้อมูล" (Discovery)** แก่ Large Language Models (LLM)
* **Security:** ใช้การรักษาความปลอดภัยด้วย **API Key เฉพาะ** (`X-API-Key`) สำหรับ MCP Endpoints เท่านั้น เพื่อแยกการควบคุมสิทธิ์ออกจาก JWT สำหรับผู้ใช้งานทั่วไป

### 🔗 ตัวอย่างการนำไปใช้งาน

| Component | URL (ตัวอย่าง) | รายละเอียด |
| :--- | :--- | :--- |
| **Backend API (Swagger)** | `https://data-decision-ops.softwarecraft.tech/docs` | เอกสาร API หลัก รวมถึง Tools สำหรับ MCP |
| **Frontend Console** | `https://ddo-console.softwarecraft.tech/login` | ตัวอย่าง Dashboard สำหรับการควบคุมและแสดงผล |

หมายเหตุ 

1 ระบบตัวอย่างนี้จะทำการปรับปรุงข้อมูลในตัวอย่าง Dashboard ด้านบนอีกทีนึง

2 ตัวอย่าง User Account
- viewer1@dddp.com
- viewer123-#

3 สำหรับการทดสอบการเชื่อมต่อ LLM (เช่น การใช้ cURL หรือ ChatGPT Plugins/Tools):
- Protocol=Model Context Protocol (MCP)	
- Header Key=X-API-Key	
- Example Value=[LLM_AGENT_SECRET_API_KEY]

---

## 📜 License

โปรเจคนี้แจกจ่ายภายใต้ **MIT License**