Pada awalnya Masjid Raya Al Mashun dirancang oleh arsitek Belanda Van Erp yang juga merancang istana Maimun, namun kemudian prosesnya dikerjakan oleh JA Tingdeman. Van Erp ketika itu dipanggil ke pulau Jawa oleh pemerintah Hindia Belanda untuk bergabung dalam proses restorasi candi Borobudur di Jawa Tengah. Sebagian bahan bangunan diimpor antara lain: marmer untuk dekorasi diimpor dari Italia, Jerman dan kaca patri dari Cina dan lampu gantung langsung dari Perancis.

Interior Masjid Raya Medan

JA Tingdeman, sang arsitek merancang masjid ini dengan denah simetris segi delapan dalam corak bangunan campuran Maroko, Eropa dan Melayu dan Timur Tengah. Denah yang persegi delapan ini menghasilkan ruang bagian dalam yang unik tidak seperti masjid-masjid kebanyakan. Empat penjuru masjid masing-masing diberi beranda dengan atap tinggi berkubah warna hitam, melengkapi kubah utama di atap bangunan utama masjid. Masing-masing beranda dilengkapi dengan pintu utama dan tangga hubung antara pelataran dengan lantai utama masjid yang ditinggikan, kecuali bangunan beranda di sisi mihrab.
Bangunan masjidnya terbagi menjadi ruang utama, tempat wudhu, gerbang masuk dan menara. Ruang utama, tempat sholat, berbentuk segi delapan tidak sama sisi. Pada sisi berhadapan lebih kecil, terdapat ‘beranda’ serambi kecil yang menempel dan menjorok keluar. Jendela-jendela yang mengelilingi pintu beranda terbuat dari kayu dengan kaca-kaca patri yang sangat berharga, sisa peninggalan Art Nouveau periode 1890-1914, yang dipadu dengan kesenian Islam. Seluruh ornamentasi di dalam masjid baik di dinding, plafon, tiang-tiang, dan permukaan lengkungan yang kaya dengan hiasan bunga dan tumbuh-tumbuhan. di depan masing-masing beranda terdapat tangga. Kemudian, segi delapan tadi, pada bagian luarnya tampil dengan empat gang pada keempat sisinya, yang mengelilingi ruang sholat utama.^[1]
Gang-gang ini punya deretan jendela-jendela tidak berdaun yang berbentuk lengkungan-lengkungan yang berdiri di atas balok. Baik beranda maupun jendela-jendela lengkung itu mengingatkan desain bangunan kerajaan-kerajaan Islam di Spanyol pada Abad Pertengahan. Sedangkan kubah masjid mengikuti model Turki, dengan bentuk yang patah-patah bersegi delapan. Kubah utama dikelilingi empat kubah lain di atas masing-masing beranda, dengan ukuran yang lebih kecil. Bentuk kubahnya mengingatkan kita pada Masjid Raya Banda Aceh. Di bagian dalam masjid, terdapat delapan pilar utama berdiameter 0,60 m yang menjulang tinggi untuk menyangga kubah utama pada bagian tengah. Adapun mihrab terbuat dari marmer dengan atap kubah runcing. Gerbang masjid ini berbentuk bujur sangkar beratap datar. Sedangkan menara masjid berhias paduan antara Mesir, Iran dan Arab.