Baitul Maqdis atau biasa disebut Masjid Al Aqsa, secara harfiah bermakna “Bait (Rumah) Suci”. Kapan kaum Muslimin menaklukkan Baitul Maqdis ?
Abu Ubaidah menulis surat kepada penduduk Baitul Maqdis dan memberi kebebasan kepada mereka untuk menerima Islam atau membayar jizyah. Jika tidak mau keduanya, maka harus bersiap perang dengan kaum Muslimin. Namun penduduk Eliyah tidak mengabulkan permintaannya dan tidak mau beriman. Abu Ubaidah bergerak ke arah mereka dan berperang disamping tembok kota hingga beberapa lama sampai para jawara Eliyah berkeyakinan bahwa melanjutkan peperangan tidak akan menguntungkan mereka sedikit pun.
Seorang utusan membawa pesan ke sisi Abu Ubaidah bahwa kami ingin berdamai namun kami tidak percaya kepada Anda. Tulislah surat sehingga khalifah Anda datang dan menulis perjanjian dengan kami sehingga kami akan yakin. Tulislah surat sehingga ia menuliskan perjanjian bagi kami dan kami akan meyakini keamanan kami. Maka Abu Ubaidah menulis surat kepada khalifah ke-3 dan menceriterakan keinginan mereka.
Akhirnya Khalifah Kedua datang ke Syam untuk menulisan surat perjanjian. Di sana ia melihat Yazid bin Abu Sufyan, Abu Ubaidah dan Khalid naik kuda dan mengenakan pakaian yang sangat indah. Umar melemparkan batu ke arah mereka dan berkata: Apakah dengan baju begitu kalian datang menjemputku? Semenjak dua tahun yang lalu hingga sekarang kalian sudah pada kenyang? Demi Tuhan, aku bersumpah, meski 200 tahun berlalu, maka aku akan tetap mengubah kalian.” Mereka berkata: ‘Kami menyimpan senjata di balik gamis yang menutupi baju kami.”
Khalifah dengan orang-orang Baitul Maqdis berdamai dengan syarat tidak merusak tempat ibadah mereka dan tidak mengeluarkan para rahib itu dari sana. Mereka juga menerima jizyah dan meninggikan tembok-tembok kota. Umar naik kuda dan memasuki kota dan menampakkan batu kemudian memerintahkan membangun sebuah masjid di atasnya. Kemudian ia pergi ke mihrab Nabi Dawud As. Ketika ia mendekati masjid berkata: “Bawalah Ka’ab bin Akhbar ke hadapanku! Ka’ab pun datang kepadanya. Khalifah bertanya: Menurutmu, dimana kita akan membangun masjid? Ka’ab menjawab: Di kaki batu itu. Khalifah berkata: “’Wahai Ka’ab! Aku bersumpah demi Tuhan! Anda telah meniru cara Yahudi, Aku melihatmu melepas alas kakimu.’ ‘Aku ingin menyentuh bumi dengan kedua kakiku. Jawab Ka’ab. Umar berkata, Ya, aku liat. Kita berada di kiblat di mana Nabi membangun kiblat kita. Lupakan hal ini. karena kita tidak mempunyai perintah terkait dengan batu, namun kita punya perintah tentang Ka’bah.’” Kemudian menjadikan atas masjid sebagai arah kiblat.”
Pada akhirnya, penaklukan Baitul Maqdis terjadi pada tahun ke-16 H.