Saat pertama kali datang ke Mekah, Abu Dzar memasuki kota dengan menyamar. Seolah-olah ia seorang yang hendak melakukan thawaf keliling berhala-berhala besar di Ka‘bah; atau seolah-olah musafir yang tersesat dalam perjalanan; atau lebih tepat orang yang telah menempuh jarak amat jauh, yang memerlukan istirahat dan menambah perbekalan.
Padahal seandainya orang-orang Mekah mengetahui bahwa kedatangannya itu untuk menemui Muhammad saw. dan mendengar keterangannya, pastilah mereka akan membunuhnya. Tetapi ia tak perduli akan dibunuh, asal saja setelah melintasi padang pasir luas, ia dapat menjumpai laki-laki yang dicarinya dan menyatakan iman kepadanya. Kebenaran dan da‘wah yang diberikan Muhammad saw. dapat memuaskan hatinya.
Abu Dzar terus melangkah sambil memasang telinga, dan setiap didengarnya orang memperkatakan Muhammad saw., ia pun mendekat dan menyimak dengan hati-hati; hingga dari cerita yang tersebar di sana-sini, diperolehnya petunjuk yang dapat menunjukkan tempat persembunyian Muhammad saw., dan mempertemukannya dengan beliau.
Di suatu pagi hari, ia pergi ke tempat itu, didapatinya Muhammad saw. sedang duduk seorang diri. Didekatinya Rasulullah, katanya: ―Selamat pagi, wahai kawan sebangsa!‖ ―‗Alaikas salam, wahai shahabat‖, jawab Rasulullah.
Kata Abu Dzar:
“Bacakanlah kepadaku hasil gubahan anda!” “la bukan sya‘ir hingga dapat digubah, tetapi adalah Quran yang mulia!”, ujar Rasulullah. Bacakanlah kalau begitu!", kata Abu Dzar pula. Maka dibacakanlah oleh Rasulullah, sedang Abu Dzar mendengarkan dengan penuh perhatian, hingga tidak berselang lama Ia pun berseru: "Asyhadu alla ilaha illallah wa asyhadu anna Muhammadan abduhu wa rasuluh"
Selanjutnya nabi menanyakan asal Abu Dzar. Ia menjawab ia berasal dari Ghifar. Maka terbukalah senyum lebar di kedua bibir Rasulullah, sementara wajahnya diliputi rasa kagum dan takjub. Abu Dzar tersenyum pula, karena ia mengetahui rasa terpendam di balik rasa kagum Rasulullah, demi mendengar bahwa orang yang telah mengaku Islam di hadapannya secara terus terang itu, seorang laki-laki dari Ghifar.
Ghifar adalah suatu kabilah atau suku yang tak ada taranya dalam soal menempuh jarak. Berkatalah Abu Dzar dalam menceritakan sendiri kisah itu: ―Maka pandangan Rasulullah pun turun naik, tak putus ta‘jub memikirkan tabi‘at orang-orang Ghifar, lalu sabdanya: Sesungguhnya Allah memberi petunjuk kepada siapa yang disukai-Nya …!
Abu Dzar salah seorang yang dikehendaki Allah beroleh petunjuk, orang yang dipilih-Nya akan mendapat kebaikan. Dan memang, Abu Dzar ini seorang yang tajam pengamatannya tentang kebenaran. Menurut riwayat, ia termasuk salah seorang yang menentang pemujaan berhala di zaman jahiliyah, mempunyai kepercayaan akan Ketuhanan serta iman kepada Tuhan Yang Maha Besar lagi Maha Pencipta.
Demikianlah, baru saja ia mendengar bangkitnya seorang Nabi yang mencela berhala serta pemuja-pemujanya dan menyeru kepada Allah Yang Maha Esa lagi Perkasa, maka ia pun menyiapkan bekal dan segera mengayunkan langkahnya.
Abu Dzar telah masuk Islam tanpa ditunda-tunda lagi . Urutannya di kalangan Muslimin adalah yang kelima atau keenam. Jadi ia telah memeluk Agama itu pada hari-hari pertama, bahkan pads saatsaat pertama Agama Islam, hingga keislamannya termasuk dalam barisan terdepan.
Ketika ia masuk Islam, Rasulullah masih menyampaikan da‘wahnya secara berbisikbisik. Dibisikkannya kepada Abu Dzar begitu pun kepada lima orang lainnya yang telah iman kepadanya. Dan bagi Abu Dzar, tak ada yang dapat dilakukannya sekarang selain memendam keimanan itu dalam dada, lalu meninggalkan kota Mekah secara diam-diam dan kembali kepada kaumnya.
Tetapi Abu Dzar yang nama aslinya Jundub bin Janadah, seorang radikal dan revolusioner. Telah menjadi watak dan tabi‘atnya menentang kebathilan di mana pun ia berada.
Setelah masuk Islam Abu Dzar bertanya kepada Rasulullah,
―Wahai Rasulullah, apa yang harus saya kerjakan menurut anda?‖ ―Kembalilah kepada kaummu sampai ada perintahku nanti!‗ ujar Rasulullah. ―Demi Tuhan yang menguasai nyawaku‘ , kata Abu Dzar pula, ―saya takkan kembali sebelum meneriakkan Islam dalam masjid!
Abu Dzar pergi menuju Masjidil Haram dan menyerukan dengan sekeras-kerasnya suaranya: ―Asyhadu alla ilaha illallah, wa asyhadu anna Muhammadan rasulullah ―. Teriakan ini merupakan teriakan pertama tentang Agama Islam yang menentang kesombongan orang-orang Quraisy dan memekakkan anak telinga mereka dan diserukan oleh seorang perantau asing yang di Mekah tidak mempunyai bangsa, sanak keluarga maupun pembela. Dan sebagai akibatnya, ia mendapat perlakuan dari mereka yang sebetulnya telah dimaklumi akan ditemuinya … . Orang-orang musyrik mengepung dan memukulnya hingga rubuh.
Berita mengenai peristiwa yang dialami Abu Dzar itu akhirnya sampai juga kepada paman Nabi, Abbas. la segera mendatangi tempat terjadinya peristiwa tersebut, tapi dirasanya ia tak dapat melepaskan Abu Dzar dari cengkeraman mereka kecuali dengan menggunakan diplomasi halus, maka katanya kepada mereka: ―Wahai kaum Quraisy! Anda semua adalah bangsa pedagang yang mau tak mau akan lewat di kampung Bani Ghifar. Dan orang ini salah seorang warganya, bila ia bertindak akan dapat menghasut kaumnya untuk merampok kafilah – kafilahmu nanti!‖ Mereka pun sama menyadari hal itu, lalu pergi meninggalkannya.
Tetapi Abu Dzar yang telah mengenyam manisnya penderitaan dalam membela Agama Allah, tak hendak meninggalkan Mekah sebelum berhasil memperoleh tambahan dari darma baktinya.
Demikianlah pada hari berikutnya, tampak olehnya dua orang wanita sedang thawaf keliling berhala-berhala Usaf dan Na-ilah sambil memohon padanya. Abu Dzar segera berdiri menghadangnya, lalu di hadapan mereka berhala-berhala itu dihina sejadi-jadinya.
Kedua wanita itu memekik berteriak, hingga orang-orang gempar dan berdatangan laksana belalang, lalu menghujani Abu Dzar dengan pukulan hingga tak sadarkan diri. Ketika ia siuman, maka yang diserunya tiada lain hanyalah ―bahwa tiada Tuhan yang haq diibadahi melainkan Allah, dan bahwa Muhammad itu utusan Allah.
Maklumlah udah Rasulullah saw. akan watak dan tabi‘at murid barunya yang ulung ini serta keberaniannya yang menakjubkan dalam melawan kebathilan. Hanya sayang saatnya belum lagi tiba, maka diulanginyalah perintah agar din pulang, sampai bila telah didengarnya nanti Islam lahir secara terang- terangan, ia dapat kembali dan turut mengambil bagian dalam percaturan dan aneka peristiwanya.
Abu Dzar kembali mendapatkan keluarga serta kaumnya dan menceritakan kepada mereka tentang Nabi yang barn diutus Allah, yang menyeru agar mengabdi kepada Allah Yang Maha Esa dan membimbing mereka supaya berakhlaq mulia. seorang demi seorang kaumnya masuk Islam. Bahkan usahanya tidak terbatas pada kaumnya semata, tapi dilanjutkannya pada suku lain — yaitu suku Aslam — di tengah-tengah mereka ia pancarkan cahaya Islam.