Mark BUKAN sekadar asisten virtual biasa. Mark adalah entitas AI yang dirancang untuk memiliki emosi dan bertindak selayaknya manusia. Lebih dari sekadar chatbot kaku, Mark adalah Personal AI Assistant yang berjalan di ekosistem lokal Anda—dilengkapi dengan sistem memori jangka panjang berbasis Vector Memory dan Relational Growth System untuk mempelajari kebiasaan serta beradaptasi dengan gaya komunikasi Anda tanpa mengorbankan privasi sedikit pun. Ditenagai oleh Hybrid AI Engine, Mark dapat beroperasi secara lokal untuk privasi maksimal, atau menggunakan Cloud APIs untuk mengeksekusi tugas kompleks, menyusun rencana (Agentic Planning), merangkum video YouTube, mengobservasi layar atau dunia nyata (Vision), melakukan riset internet, kendali jarak jauh via Telegram Bot, hingga berinteraksi melalui suara secara real-time.
Important
Proyek ini secara khusus dioptimasi untuk Windows (Windows 10/11).
- Dynamic Agentic Planning (ReAct Loop): Mengganti sistem penjawab statis dengan arsitektur penalaran cerdas. Mark mampu memecah masalah, memikirkan strategi, menggunakan tools secara otonom berulang kali, dan mengevaluasi hasilnya sebelum memberikan jawaban akhir yang komprehensif.
- Agent Task Workflows: Untuk pekerjaan panjang, router AI memilih mode
durable, planner memecah pekerjaan menjadi beberapa step, lalu MARK mengerjakan satu step melalui ReAct loop yang sama. Setiap step divalidasi, di-checkpoint, dapat di-retry, dipause/resume setelah restart, dan menghasilkan artifact diDocuments/Mark Tasks/<task-id>/. - Infinite Memory & Injection Knowledge RAG: Sistem Vector Retrieval-Augmented Generation (RAG) kini berjalan secara offline. Mark dapat menyimpan riwayat memori obrolan masif tanpa batas dan pengguna dapat menambahkan pengetahuan dari sebuah file document tanpa membebani context window utama LLM.
- Automatic Memory Groomer (Hippocampus Engine): Sistem pembersihan dan konsolidasi memori mandiri berbasis Orama Clustering dan LLM Batch Processing. Hippocampus Engine berjalan otonom di latar belakang untuk mendeteksi klaster memori yang serupa atau duplikat (
profile&preference), lalu menggabungkannya secara kronologis tanpa menghilangkan sejarah informasi. Dilengkapi Grooming Status Bar dan tombol konsolidasi manual pada antarmuka Memory Visualizer. - Visualisasi Jaringan Otak (Memory Visualizer): Dilengkapi dengan UI Live Feed "Mark Neural Core". Pengguna dapat melihat secara real-time grafis Neural Network yang menampilkan jaringan Chat History, Knowledge Base, hingga Document Vault.
- Live Thought Process (Neural Flow): Perhatikan Mark berpikir! Setiap kali sistem mengeksekusi rencana (Agentic Planning), antarmuka akan memancarkan animasi 3D Neuron yang terbang mengorbit inti pikiran (Orb) untuk interaktivitas tingkat Sci-Fi.
- Relational Growth System & Dynamic Persona: Hubungan Anda dengan Mark dievaluasi layaknya dengan manusia sungguhan melalui 4 parameter krusial (Warmth, Sarcasm, Trust, Energy). Tingkat kesopanan, kelancangan (toxicity), dan kepribadian Mark akan berevolusi organik. Jika Anda sering bersarkasme, Mark bebas menggunakan bahasa tongkrongan dan men-roasting Anda. Didukung oleh 9 Inside Out 2 Emotions (Joy, Sadness, Fear, Anger, Disgust, Anxiety, Envy, Embarrassment, Ennui) yang secara dinamis mengubah warna UI Orb di layar.
- Multi AI Provider (Built-in Gemini / Local / Cloud): Mark hadir dengan Google Gemini Engine (Gratis) sebagai provider bawaan yang siap pakai tanpa membutuhkan API Key. Anda juga memiliki fleksibilitas penuh untuk menggunakan Local AI (LM Studio berjalan di PC Anda), Cloud AI (Groq/Cerebras), maupun Custom OpenAI-Compatible API.
- Asisten Bot Telegram Mandiri (Telegraf Engine): Mark terhubung langsung dengan Telegram Bot API melalui pustaka
telegraf. Mark dapat dikontrol jarak jauh via Telegram, merangkum obrolan, mengunduh MP3 YouTube, mengambil screenshot PC, dan secara otomatis menyinkronkan seluruh balasan PC & Awareness Engine ke Telegram Admin secara real-time. - Physical PC & Desktop Automation (Windows UIAutomation): Menggunakan mesin otomatisasi Windows lokal (
read-ui.ps1& UIAutomation API), Mark dapat membaca elemen GUI desktop secara struktural, mengklik tombol, mengetik teks, menekan shortcut, hingga mengelola jendela aplikasi di Windows secara fisik tanpa biaya vision API yang tinggi (Zero-Vision Cost). Dilengkapi dengan Security Floating Overlay, sistem konfirmasi keamanan berlapis, serta tombol Emergency Stop (Ctrl+Shift+S) untuk keamanan kendali mutlak. - Proaktif dengan Awareness Engine: Sistem Mark tidak hanya pasif merespons. Mark bisa proaktif menegur, menyapa, atau memutarkan musik di latar belakang. Dilengkapi fitur Toggle (bisa dimatikan kapan saja) dan integrasi sinkronisasi pesan proaktif ke Telegram Admin.
- Floating Sub-Pages Glass UI: Arsitektur antarmuka baru tempat
MarkHomedan AI Brain terus berjalan 100% aktif di latar belakang, sementara halaman lain (TelegramBot,Configuration,Plugins,Knowledge,Guidebook) dirender sebagai Floating Glass Layer di atasnya tanpa memutus koneksi atau mematikan agen.
Mark dibekali dengan berbagai integrasi alat untuk mengeksekusi tugas di luar sekadar membalas teks:
- Native File Handling & PowerShell: Mark memiliki kontrol OS tingkat lanjut untuk membaca, menulis, memodifikasi, dan menghapus file secara native. Mark juga dapat mengeksekusi perintah PowerShell untuk mengendalikan sistem operasi. (Keamanan Tinggi: Semua perintah berisiko wajib mendapat persetujuan modal UI dari pengguna).
- Otomatisasi Desktop PC (
os-*tools): Mengendalikan GUI Windows secara penuh (os-control-open,os-read,os-click,os-type,os-key,os-scroll,os-open,os-list-windows,os-focus-window,os-ask). Mark membaca elemen interaktif aplikasi aktif berbasis UIAutomation (dengan fallback OCR WinRT), mengklik, dan mengetik pada aplikasi apapun di desktop. Sistem mengunci sesi dengan floating banner informatif, memerlukan izin eksplisit dari pengguna sebelum mengambil alih kendali, dan menyediakan fitur interupsi cepat viaCtrl+Shift+S. - Vision Awareness (Desktop Screen Reading): Mark tidak lagi buta! Ia memiliki kemampuan membaca layar (
analyze-screen) untuk "melihat" apa yang sedang terjadi di PC Anda. Terintegrasi dengan Awareness Engine, Mark bisa memberikan panduan sangat kontekstual berdasarkan aplikasi visual yang Anda buka. - Camera Vision (Mata Fisik): Dilengkapi integrasi Webcam (
camera-look), Mark dapat mengobservasi keadaan fisik Anda di dunia nyata. Fitur ini dapat dipicu manual maupun secara otonom oleh Mark sendiri jika diperlukan. - Autonomous Web Browsing: Menggunakan window Chromium internal, Mark dapat secara otonom membuka halaman web, bernavigasi, dan berinteraksi dengan website secara mandiri. Dilengkapi dengan Smart Pause & Resume jika membutuhkan intervensi manual (login/CAPTCHA).
- Interaksi Suara (Voice Activity Detection & STT): Berbicara langsung ke mikrofon! Mark menggunakan sistem VAD cerdas yang mendeteksi suara Anda dan akan menunggu hingga Anda selesai berbicara sebelum memproses audio secara instan menggunakan Groq Whisper STT atau Local Transformers.js Whisper. Balasan Mark juga menggunakan sintesis suara manusia yang natural (Edge-TTS).
- Riset Internet Mendalam (Deep Web Search): Mark dapat menelusuri web secara mandiri untuk mencari informasi akurat dan memberikan ringkasan yang dilengkapi dengan tautan kutipan (citations).
- Perangkum YouTube Kilat: Cukup berikan tautan video YouTube, dan Mark akan mengekstrak transkrip asli, memproses teks, dan memberikan ringkasan akurat tanpa Anda harus menonton video tersebut.
- Pemutar YouTube Music Terintegrasi: Terhubung langsung dengan ekosistem YouTube Music (tanpa iklan). Perintahkan Mark untuk memutar lagu, dan ia akan mencari serta memutarnya di latar belakang sembari menampilkan sampul album pada antarmuka.
- Integrasi Bot Telegram: Cukup masukkan API Token dari
@BotFatherdan Username Telegram (@username) Anda. Bot akan otomatis menyala di latar belakang saat aplikasi Mark dibuka di PC. Mark dapat mengeksekusi instruksi jarak jauh via Telegram (tg-send,screenshot-to-tg), mengirim hasil tangkapan layar, mengunduh musik MP3, serta menyinkronkan balasan obrolan PC & Awareness Engine langsung ke HP Anda. - Integrasi Google Workspace: Mengelola produktivitas Anda secara otomatis! Mark memiliki koneksi langsung ke ekosistem Google untuk membaca/mencari email di Gmail, mengatur/membaca jadwal di Google Calendar, hingga mencari, membaca, dan mengunggah dokumen di Google Drive.
- Mark Skills System: Ubah kepribadian dan peran Mark secara instan menggunakan instruksi Markdown (
.md). Anda dapat menginstal skill kustom dari luar atau membuatnya sendiri melalui editor bawaan. Panggil skill kapan saja dengan mengetik/nama-skilldi kotak obrolan. Anda bahkan dapat menggabungkan multi-skill dalam satu prompt (contoh:/ppt-creator /translator tolong buatkan presentasi)! - Sistem Plugin Kustom: Tambahkan fitur atau kemampuan baru langsung dari antarmuka aplikasi tanpa perlu memodifikasi kode sumber inti. Anda dapat membuat skrip Node.js (misalnya, plugin untuk mengatur volume atau mematikan PC) dan Mark akan langsung memahami cara menggunakannya.
mark/
├── src/
│ ├── main/ # Proses Utama Electron (Window, IPC, TTS, Tray, Global Shortcut)
│ │ ├── telegram/ # Layanan Telegram Bot API (Telegraf Engine)
│ │ │ └── telegram-service.js # Long-polling Bot, Filter Admin, Pengiriman Media & Sync IPC
│ │ ├── pc-agent.js # Mesin Otomatisasi PC & Desktop Windows (UIAutomation)
│ │ ├── pc-agent-scripts/ # Skrip PowerShell untuk pembacaan UI & kontrol Windows
│ │ └── ai-bridge.js # Penghubung utama ke AI API, Rate Limit, & Auto-Repair JSON
│ ├── preload/ # Skrip Preload (Jembatan keamanan Node.js ke React)
│ └── renderer/ # Frontend (React 19 + Vite)
│ └── src/
│ ├── api/
│ │ ├── ai/ # Modul Integrasi AI (chat, perencanaan, tools, memoryGroomer.js)
│ │ ├── db.js # Skema & Migrasi Database Lokal (Dexie/IndexedDB)
│ │ ├── scraping.js # Mesin pencari Google & web scraper
│ │ ├── vectorMemory.js # Sistem Memori Vektor (Transformers.js / LM Studio)
│ │ └── oramaStore.js # Hybrid Full-Text & Vector Search, Memory Clustering
│ ├── components/ # Komponen UI modular (CodeBlock, ResponseArea, HoloCard, dll)
│ ├── hooks/ # Custom Hooks React (useMarkPlan, useTelegramBot, useAwareness, dll)
│ └── pages/ # Halaman UI Floating (MarkHome, Configuration, TelegramBot, Plugins, dll)
| Kategori | Teknologi |
|---|---|
| Framework | Electron 39, React 19, Vite 7 |
| Antarmuka (UI) | Tailwind CSS 4, DaisyUI 5, Framer Motion/GSAP (Animasi), React Force Graph 2D |
| Mesin AI | Google Gemini (Bawaan Gratis) / LM Studio (Offline) / Groq, Cerebras, Custom OpenAI-Compatible API |
| Memori Vektor | @orama/orama (Hybrid Search), Transformers.js (@huggingface/transformers) |
| Pencarian Web | Electron Webview (Bypass Anti-Bot) |
| Suara & Audio | Groq API (STT), Transformers.js (Local STT), Edge-TTS, Web Audio API (VAD) |
| Integrasi | youtube-transcript-plus, youtube-dl-exec, ffmpeg-static, telegraf Telegram Bot API |
| Database/RAG | Dexie.js (IndexedDB), pdf-parse (Document Extraction) |
- Sistem Operasi: Windows 10/11
- Node.js: Versi 18 atau lebih baru
- (Opsional) LM Studio jika Anda ingin menjalankan model sepenuhnya secara luring (offline).
- (Opsional) API Key Groq untuk menggunakan model komputasi awan yang sangat cepat.
-
Kloning repositori:
git clone https://github.com/Mazees/mark-agent.git cd mark-agent/mark -
Instalasi dependensi:
npm install
-
Jalankan aplikasi:
npm run dev
-
Konfigurasi Awal: Buka menu Configuration di dalam aplikasi, pilih penyedia AI Anda (LM Studio atau Groq), masukkan API Key, lalu atur penyedia Vector Memory (Sangat disarankan menggunakan Transformers.js untuk pengalaman lokal tanpa perangkat lunak tambahan).
Mark memungkinkan Anda memperluas kemampuannya dengan mudah melalui pembuatan Plugin Kustom secara langsung dari antarmuka pengguna, tanpa perlu mengubah kode inti aplikasi.
- Buka menu Plugins pada sidebar aplikasi.
- Klik Buat Plugin Baru.
- Isi kolom Nama (contoh:
pengendali-sistem) dan Deskripsi singkat. - Jika skrip Anda memerlukan pustaka eksternal, tulis pada kolom Dependencies (NPM) dengan pemisah koma (contoh:
loudness, systeminformation). Mark akan menginstalnya secara otomatis. - Tambahkan Action (Fungsi):
- Nama Action: Penamaan fungsi (contoh:
set-volume). - Deskripsi: Penjelasan spesifik mengenai fungsi tersebut agar AI memahami peruntukannya.
- Trigger Hint: Petunjuk pemicu kapan AI harus menggunakan alat ini.
- Nama Action: Penamaan fungsi (contoh:
- Tulis Skrip Anda menggunakan editor Monaco bawaan. Skrip mengikuti standar lingkungan Node.js (CommonJS).
const loudness = require('loudness')
// Mengambil parameter angka volume yang diberikan oleh AI
const vol = parseInt(query)
if (isNaN(vol) || vol < 0 || vol > 100) {
return '❌ Gagal: Masukkan angka volume 0-100.'
}
try {
await loudness.setVolume(vol)
return '✅ Berhasil, volume telah diubah ke ' + vol + '%'
} catch (e) {
return '❌ Gagal mengubah volume: ' + e.message
}- Klik Simpan Plugin. Mark akan langsung mempelajari alat baru ini dan Anda dapat segera memerintahkannya untuk mengeksekusi skrip tersebut melalui teks atau perintah suara.
Untuk membuat aplikasi mandiri (berkas .exe) yang dapat diinstal di PC Windows:
npm run build:winBerkas installer akan secara otomatis tersedia di dalam direktori dist/.
Dilarang keras menjual atau memperdagangkan perangkat lunak ini untuk keuntungan komersial tanpa izin tertulis.
Dibangun untuk masa depan AI yang lebih adaptif, dan manusiawi.