Emeviler zamanında inşa edilen Kıble Mescidi, 15 neften oluşuyordu. Bu eserin çatısını, meyilli olarak döşenmiş kiremitler örtüyordu. Çatı, ortadaki nefin sonunda, yapının güney tarafında büyük bir kubbe ile bitiyordu. Abbasiler zamanında önce Halife Cafer b. Ebu Mansur tarafından daha sonra Kudüs’te yaşanan bir deprem sonrasında mescidin doğu ve batı yönlerindeki duvarlarının bir kısmının yıkılması üzerine Halife el-Mehdî tarafından Kıble Mescidi tamir edildi. Memlüklüler zamanında (h.855-923/1451-1517), Yemen’de hâkimiyet kuran bir hanedan olan Tâhirîler Devleti’nin emîri Abdullah b. Tâhir tarafından yeni nefler yapıldı. Fatımiler zamanında benzer şekilde defalarca yenileme ve restorasyon çalışmaları tekrarlandı. Haçlılar Kudüs’ü işgal ettikleri yıllarda Kıble Mescidi’ni kiliseye çevirdiler ve mescidin İslami alametlerini değiştirdiler. Selahaddin Eyyübi tarafından Kudüs şehri tekrar hürriyetine kavuşturulmasından sonra Kıble Mescidi daha önceki haline çevrildi ve Selahaddin Eyyübi mescide Nureddin Zengi’nin vefatından önce Halep’de özellikle Mescid-i Aksa’ya konulması için yapılmasını emrettiği minberi koydurdu. Osmanlılar, Kıble Mescidi’ne çok büyük bir önem verdiler. Bu bağlamda özellikle Kanuni Sultan Süleyman’ın Kıble Mescidi’ne yaptırdığı kapsamlı restorasyon, Sultan II. Mahmûd, Sultan Abdülaziz, Sultan II. Abdülhamid Han’ın yaptırdıkları dikkate değerdir. 

Kıble Mescidi, mihrap tarafındaki kubbenin altına kadar doğrudan ulaşan büyük bir merkezi nefin ortaladığı, bu merkezi nefin doğusunda 3 nefin batısında da 3 nefin sıralandığı, kuzeyden güneye 80 metreye ulaşan uzunluğu, doğudan batıya 55 metre genişliği olan dikdörtgen şeklinde bir binadır. 9 adet girişi vardır. Bunlardan 7’si mescidin kuzey cephesini merkeze alarak sıralanmaktadır. Mescidin doğusunda bir kapı ve batısında da bir kapı vardır. Kuzey cephesinde ortadaki giriş kapısı, ana giriş kapısı olarak kabul edilir. Hangi kapıdan girilirse girilsin açık olan diğer bütün neflere ulaşmak mümkündür. Neflerin arasında caminin yükünü

taşıyan taş ve mermerden yapılmış büyük sütunlar bulunmaktadır. Taş sütunları tarihi ve antik olup, mermer olanları ise 20. yüzyılın başlarındaki restorasyon sırasında eklenmiştir.