Bangunan masjid sendiri sebenarnya sudah mengalami begitu banyak transformasi dan mendapatkan pengaruh dari berbagai macam budaya. Pada awal perkembangannya, bangunan masjid pertama kali dibangun pada zaman nabi Muhammad SAW. Kemudian, seiring berjalannya waktu, agama Islam sendiri pun semakin mengalami perkembangan. Agama Islam semakin banyak bersentuhan dengan budaya-budaya lain. Kontak dengan budaya lain ini pun tidak hanya mempengaruhi agama Islam dalam nilai-nilai ajaran agama nya, namun juga mempengaruhi arsitektur dalam agama Islam itu sendiri.
Pembangunan sebuah Masjid tidak terlepas dari kaidah-kaidah yang dipegang dan harus diperhatikan sesuai dengan ajaran dalam agama Islam. Pada sebuah masjid, di dalam dan luar bangunan nya tidak boleh terdapat gambar/ornamen berupa makhluk hidup yang utuh. Sebaliknya ornament yang berada pada masjid sebaiknya merupakan ornament yang mengingatkan kepada Allah SWT. Seperti tulisan kaligrafi yang melambangkan Allah SWT, dsb. Ruang-ruang diatur untuk menjaga akhlak dan perilaku serta tidak boleh ditujukan sebagai ajang untuk pamer dan menyombongkan diri .Selain itu, pembangunan masjid harus juga meminimalisir kerusakan alam. Sertapenggunaan warna masjid seharusnya menggunakan warna yang mendekatkan kepada Allah, seperti warna cokelat atau hijau yang mewakili warna alam.
Masjid yang pertama kali dibangun pada masa Nabi Muhammad SAW adalah Masjid Quba. Masjid Quba yang dapat dilihat pada saat ini tentu saja sudah tidak menggambarkan keadaan masjid ini ketika baru dibangun dulu. Ketika pertama kali menyebarkan agama Islam, Nabi Muhammad mengalami penolakan luar biasa dari suku Quraisy yang merupakan suku nya sendiriMaka dari itu, Nabi Muhammad bersama pengikutnya pindah ke Medinna Di sanalah Masjid Quba, masjid yang pertama, didirikan. Masjid ini awalnya hanya berbentuk segiempat dengan atap dan berada di lapangan terbuka. Dinding-terbuat dari batang pohon kurma dan atap nya dari daun pohon kurma.
Semakin meluasnya penyebaran agama Islam, arsitektur pada masjid kemudian berkembang menjadi beragam. Arsitektur pada masjid tidak lagi memiliki bentuk-bentuk yang sama. Bentuk-bentuk masjid yang ada di bangunan seringkali menyesuaikan dengan gaya arsitektur lokal yang sudah ada. Salah satu contohnya adalah Masjid Agung Kudus. Masjid yang terletak di Kudus ini adalah masjid yang unik, karena terdapat menara yang berbentuk seperti candi yang bercorak agama Hindu-Buddha. Masjid yang dibangun oleh Sunan Kudus ini memiliki kubah seperti bangunan masjid yang sudah berkembang sebelum nya.
Contoh lainnya adalah Masjid Ceng Ho yang berada di Surabaya. Masjid ini menjadi unik karena bentuk nya yang tidak biasa. Sekilas dari luar masjid ini nampak seperti klenteng. Masjid ini didirikan oleh umat Islam keturunan TiongHoa untuk mengingat jasa-jasa Ceng Ho ketika menyebarkan agama Islam. Perpaduan yang unik dan jarang terlihat, namun tentunya dengan tetap memperhatikan kaidah dalam pembangunan masjid. Karena bentuknya yang unik, selain menjadi tempat ibadah masjid ini juga menjadi salah satu tempat yang sering dikunjungi oleh orang-orang dari berbagai daerah.