TL;DR: Strategi 4 Lapis Anti-Nyasar

1. Sumber Kebenaran Tunggal: Kita buat Canonical ID (CHID), satu ID unik internal (misalnya UUID) untuk setiap teks hadis yang unik, terlepas dari nomornya.

2. Petakan Varian: Bikin tabel numbering_variants yang isinya memetakan CHID tadi ke semua varian penomoran yang ada di luar sana (misal: Edisi Lidwa Pustaka, International, Fath al-Bari, dll.).

3. Mesin Pencari Hibrida: Gabungkan pencarian lexical (kata kunci) pakai FTS + pg_trgm (buat atasi typo/transliterasi) dengan pencarian semantik (makna) pakai pgvector. Hasil keduanya digabung pakai Reciprocal Rank Fusion (RRF).

4. Penjaga Gerbang AI: Hasil hibrida tadi di-sortir ulang oleh LLM Re-ranker. Tapi pakai prompt super ketat yang hanya boleh output JSON berisi chid dan relevance_score, serta dilarang keras mengarang nomor atau info baru (anti-halusinasi).

Latar Masalah: Kenapa Penomoran Hadis Itu "Rusuh"?

• Edisi A: Bukhari #1

• Edisi B: Bukhari #1 (tapi beda kitab)

• Edisi C: Bukhari #52 (misalnya)

Solusi Inti: Pisahkan Teks dari Nomor

1. Tabel canonical_hadiths: Menyimpan teks hadis yang unik, bersih, dan ternormalisasi. Punya satu ID unik: chid.

2. Tabel numbering_variants: Menyimpan pemetaan chid ke semua sitasi eksternal (collection_name, publisher_edition, hadith_number).

Arsitektur Teknis (High-Level)

Implementasi Praktis (The "How-To")

1. Normalisasi Teks (Arab & Indo)

// Contoh konseptual di backend Node.js

function normalizeArabic(text: string): string {
  return (
    text

      // Hapus harakat (Fathah, Kasrah, Dammah, dll.)

      .replace(/[\u064B-\u0652]/g, "")

      // Normalisasi Alif (أ, إ, آ -> ا)

      .replace(/[\u0622\u0623\u0625]/g, "\u0627")

      // Normalisasi Ta Marbuta (ة -> ه)

      .replace(/\u0629/g, "\u0647")

      // Normalisasi Ya (ى -> ي)

      .replace(/\u0649/g, "\u064A")

      // Hapus tatweel (garis pemanjang)

      .replace(/\u0640/g, "")
  );
}

2. Indexing di PostgreSQL (Lexical + Vector)

• - Aktifkan ekstensi yang diperlukan

• - Buat index GIN (Generalized Inverted Index) untuk FTS dan Trigram

• - Ini SANGAT cepat untuk pencarian teks "shalat" vs "solat"

• - Buat index HNSW (Hierarchical Navigable Small Worlds) untuk vector

• - Kita asumsikan embedding punya 384 dimensi (dari model MiniLM)

• - 'vector_cosine_ops' penting karena model sentence-transformer

• - mengukur relevansi pakai cosine similarity.

3. Skema Prisma (Model Kanonis + Varian)

// ./prisma/schema.prisma

// Tabel ini adalah 'sumber kebenaran'

// Menyimpan SATU entri unik per hadis

model Hadith {

// Ini adalah Canonical Hadith ID (CHID) kita

id String @id @default(uuid())

normalizedArabic    String @db.Text

normalizedTranslation String @db.Text

// Teks mentah asli (opsional, bisa juga di tabel varian)

rawArabic           String @db.Text

rawTranslation      String @db.Text

// Vektor embedding dari (normalizedArabic + normalizedTranslation)

// Perlu setup kustom untuk tipe Vector

embedding Unsupported("vector(384)")

// Relasi: Satu hadis bisa punya BANYAK varian nomor

numberVariants HadithNumberVariant[]

@@map("canonical_hadiths")

}

// Tabel ini adalah 'kamus pemetaan'

// Menyimpan SEMUA varian nomor untuk satu hadis

model HadithNumberVariant {

id     Int    @id @default(autoincrement())

hadith Hadith @relation(fields: [hadithId], references: [id])

hadithId String // Foreign key ke Hadith.id (CHID)

// Nama koleksi, misal: "sahih-bukhari"

collectionName String

// Edisi penerbit, misal: "Lidwa Pustaka", "International"

publisherEdition String

// Nomor hadis spesifik edisi tersebut

hadithNumber String // Pakai String, karena ada nomor "52a", "52b"

bookName  String?

bookNumber Int?

@@unique([collectionName, publisherEdition, hadithNumber])

@@map("numbering_variants")

}

4. Hybrid Query dan RRF

// ./app/api/search/route.ts (Konseptual)

async function getHybridResults(query: string) {
  const queryVector = await getEmbedding(query);

  // 1. Jalankan dua query secara paralel

  const [lexicalResults, vectorResults] = await Promise.all([
    // Query Lexical (FTS + Trigram)

    prisma.$queryRaw`

SELECT id, 0.5 * ts_rank(..., query) + 0.5 * similarity(..., query) as score

FROM canonical_hadiths

WHERE ... -- FTS/Trigram logic

ORDER BY score DESC

LIMIT 50

`,

    // Query Vector (ANN)

    prisma.$queryRaw`

SELECT id, 1 - (embedding <=> ${queryVector}) as score

FROM canonical_hadiths

ORDER BY score DESC

LIMIT 50

`,
  ]);

  // 2. Lakukan Reciprocal Rank Fusion (RRF)

  const fusedScores: Record<string, number> = {};

  const k = 60; // Konstanta RRF, default yang baik

  lexicalResults.forEach((doc, index) => {
    const rank = index + 1;

    fusedScores[doc.id] = (fusedScores[doc.id] || 0) + 1 / (k + rank);
  });

  vectorResults.forEach((doc, index) => {
    const rank = index + 1;

    fusedScores[doc.id] = (fusedScores[doc.id] || 0) + 1 / (k + rank);
  });

  // 3. Urutkan berdasarkan skor RRF

  const fusedResults = Object.entries(fusedScores)

    .sort((a, b) => b[1] - a[1])

    .map(([id, score]) => ({ id, score }));

  // Ambil top 10 untuk di-re-rank oleh LLM

  return fusedResults.slice(0, 10);
}

5. Re-ranking dengan Prompt Anti-Halusinasi

{
	"role": "system",
	"content": "Anda adalah asisten ahli untuk sistem pencarian Hadis. Tugas Anda adalah mengurutkan ulang daftar kandidat Hadis berdasarkan relevansinya dengan kueri pengguna. Anda HARUS mematuhi aturan berikut SECARA KETAT:\n1. Evaluasi setiap Hadis HANYA berdasarkan teks yang disediakan ('arabic' dan 'translation').\n2. Tentukan skor relevansi dari 1 (paling tidak relevan) hingga 10 (paling relevan).\n3. Output Anda HARUS berupa objek JSON yang valid yang berisi satu kunci 'ranked_results', yang merupakan sebuah array objek.\n4. Setiap objek dalam array harus berisi HANYA dua kunci: 'chid' (disalin persis dari input) dan 'relevance_score' (skor yang Anda hitung).\n5. JANGAN menambahkan, menyimpulkan, atau menghasilkan informasi lain apa pun. JANGAN menjelaskan alasan Anda. JANGAN mengeluarkan teks apa pun di luar struktur JSON."
},
{
  "role": "user",
  "content": "User Query: \"keutamaan puasa yaumul bidh\"\n\nCandidate Hadiths:\n[... (String JSON berisi 10 kandidat {chid, arabic, translation}) ...]\n\nYour JSON Output:"
}

6. UI/UX Anti-Nyasar

• JANGAN cuma tampilkan satu nomor.

• TAMPILKAN teks hadis dari canonical_hadiths.

• TAMPILKAN semua varian nomor yang terkait dari numbering_variants.

• Sahih Bukhari (Lidwa): #52

• Sahih Bukhari (International): #1

• Fath al-Bari: #55

Kualitas & Evaluasi: Mengukur Apa yang Penting

• nDCG@10 (Normalized Discounted Cumulative Gain): Mengukur kualitas urutan 10 hasil teratas. Apakah hasil paling relevan ada di peringkat #1, #2, dst?

• MRR@10 (Mean Reciprocal Rank): Mengukur seberapa cepat pengguna menemukan jawaban pertama yang benar.

• Hallucination Rate (Custom): Metrik paling penting kita. Didefinisikan sebagai: (Jumlah respons AI yang JSON-nya rusak ATAU berisi 'chid' / 'nomor' yang tidak ada di input) / (Total kueri).

• Target kita: Hallucination Rate = 0%. Tidak ada toleransi.

Performa & Deployment di Vercel

1. Koneksi DB: Fungsi serverless bisa cepat menghabiskan koneksi DB.

• Mitigasi: Gunakan Prisma Singleton Pattern untuk me-reuse satu instance PrismaClient di hot-reloads (development) dan antar pemanggilan (production).

• Mitigasi: Pastikan DATABASE_URL Anda menggunakan connection pooler (misal: via PgBouncer).

1. Cold Starts: Pemanggilan fungsi pertama bisa lambat.

• Mitigasi: Jaga ukuran bundle fungsi tetap kecil. Gunakan caching (Vercel KV, Upstash Redis) untuk kueri populer.

1. Latensi LLM: Panggilan ke API AI bisa jadi bottleneck.

• Mitigasi: Gunakan timeout agresif (misal: 5 detik). Jika LLM gagal atau lambat, langsung kembalikan hasil dari RRF (tahap sebelum LLM). Lebih baik hasil "cukup relevan" tapi cepat, daripada error timeout.

Checklist Implementasi (Actionable)

• Membaca data sumber.

• Menjalankan SimHash (untuk deteksi duplikat dekat).

• Mengisi canonical_hadiths.

• Menghasilkan embedding untuk setiap hadis kanonis.

• Mengisi numbering_variants.

• Melakukan kueri hibrida (lexical + vector) secara paralel.

• Menggabungkan hasil pakai RRF.

• Mengirim top-N ke LLM Re-ranker (dengan prompt ketat).

• Mengembalikan CHID final yang terurut.

• Mem-fetch API di atas.

• Me-render hasil (teks + semua varian nomornya).

• Gunakan SWR atau React Query untuk caching di sisi klien.

FAQ Teknis Singkat

Siap Mencoba?

• Ingin melihat data mentahnya? Anda dapat mengakses halaman berikut

‎Gemini - Rencana Arsitektur Pencarian Hadis Hybrid

Created with Gemini

https://gemini.google.com/share/8b2364a550f9

• Lebih suka mendengarkan sambil coding?