Dari penuturan Kepala Dusun Karang Anom, Sariman, kampung tersebut sudah ditempati sejak tahun 2000 an. Hingga kini, kampung seluas 3,5 Hektar itu, tercatat di Pemerintah Desa (Pemdes) Karang Sari ada 30 keluarga yang bermukim.
Sariman menilai, selama ini keberadaan kampung khilafah di tempatnya, tidak ada yang meresahkan masyarakat.
Justru malah jamaahnya, sering berbaur dengan masyarakat, dan mau ikut salat bersama warga sekitar, yang bukan kelompoknya.
