Model bahasa besar (LLM) terus berkembang pesat dan semakin banyak digunakan dalam berbagai skenario, mulai dari chatbot hingga sistem rekomendasi. Namun, satu keterbatasan utama yang sering muncul adalah kesulitan LLM untuk mengakses dan berinteraksi langsung dengan konten web atau API secara real-time. Di sinilah MCP-Web-Curl hadir sebagai solusi teknis yang dirancang untuk menjembatani celah tersebut.

Apa Itu MCP-Web-Curl?

MCP-Web-Curl adalah sebuah tool berbasis Node.js dan TypeScript yang berfungsi sebagai penghubung antara model AI (terutama LLM) dengan dunia luar melalui protokol Model Context Protocol (MCP). Dengan menggunakan pendekatan mirip curl, tool ini memungkinkan LLM untuk melakukan HTTP request secara langsung ke URL eksternal dan memproses responsnya layaknya REST client.

Tool ini dapat dijalankan sebagai Command Line Interface (CLI) maupun sebagai server MCP yang dapat diintegrasikan dengan sistem lain seperti Roo Code atau platform yang mendukung MCP.

Arsitektur dan Teknologi

MCP-Web-Curl dibangun dengan menggunakan:

• Node.js (v18 ke atas)

• TypeScript

• Puppeteer untuk scraping konten dari web

• Custom REST client untuk fleksibilitas dalam permintaan HTTP

Struktur modularnya memisahkan antara logic scraping, pemrosesan API, pencarian Google, dan smart command parsing, sehingga memudahkan pemeliharaan dan pengembangan lebih lanjut.

Fitur Utama

Beberapa fitur yang menjadi kekuatan MCP-Web-Curl antara lain:

• Scraping Konten Web: Menggunakan Puppeteer, tool ini bisa mengekstrak teks dari halaman web dengan kontrol penuh atas elemen yang dimuat.

• Smart Command Routing: Input alami seperti URL atau query akan secara otomatis diarahkan ke fungsi yang relevan (fetch halaman, panggil API, atau Google search).

• REST Client Lengkap: Mendukung semua metode HTTP (GET, POST, PATCH, DELETE) serta kemampuan mengirim header dan body kustom.

• Resource Blocking: Fitur untuk memblokir resource tidak penting (seperti gambar dan stylesheet) guna mempercepat proses scraping.

• Timeout & Error Handling: Penanganan waktu tunggu dan kesalahan dengan logging terperinci untuk debugging.

• Google Custom Search API: Mendukung pencarian web kontekstual menggunakan API resmi Google.

• Natural Language Interface: Memungkinkan perintah seperti “cari artikel terbaru tentang LLM” dieksekusi tanpa perlu syntax teknis.

• Output Fleksibel: Hasil dapat dikirim langsung ke terminal atau disimpan sebagai file.

• Integrasi MCP: Dikemas sebagai MCP tool sehingga mudah digunakan di platform lain yang kompatibel.

Contoh Use Case

Tool ini dirancang untuk mendukung berbagai skenario praktis, seperti:

• Mengambil data dari API publik secara langsung melalui perintah LLM.

• Menjalankan scraping konten web real-time seperti Wikipedia atau berita.

• Validasi status endpoint dalam pipeline otomatis.

• Menyediakan pencarian Google yang terintegrasi saat reasoning kontekstual.

Instalasi & Penggunaan

Proyek ini bersifat open source dan dapat di-clone dari GitHub. Setelah dependensi diinstal dan proyek dibangun, tool ini siap digunakan baik melalui CLI maupun sebagai server MCP.

git clone https://github.com/rayss868/MCP-Web-Curl
cd MCP-Web-Curl
npm install
npm run build

Untuk menjalankannya sebagai MCP server:

npm run start

Konfigurasi server MCP dapat dilakukan melalui mcp_settings.json, termasuk pengaturan API key untuk Google Search jika diperlukan.

MCP-Web-Curl memberikan kemampuan baru bagi model AI untuk berinteraksi secara dinamis dengan konten real-time di web. Dengan fitur scraping, REST client, dan integrasi Google Search, tool ini memperluas cakupan aplikasi LLM dalam konteks dunia nyata yang lebih kompleks.

📎 Repositori GitHub: github.com/rayss868/MCP-Web-Curl