Menurut masyarakat setempat, dibangunnya masjid Cengho Surabaya ini merupakan bentuk penghormatan pada Cheng Ho, Laksamana asal Tiongkok yang beragama Islam. Abad ke-15 pada masa Dinasti Ming (1368-1643) orang-orang Tionghoa dari Yunnan melakukan ekspedisi Asia Tenggara termasuk ke Indonesia dengan mengemban beberapa misi, di antaranya berdagang, menjalin persahabatan, serta menyebarkan ajaran agama Islam di berbagai wilayah di Nusantara, terutama di pulau Jawa.
Tak heran, banyak masjid didirikan untuk mengenang jasa laksamana asal Tiongkok ini. Beberapa masjid Cheng Ho dibangun dengan arsitektur khas Negeri Tirai Bambu, menjadi akulturasi yang sangat apik dengan arsitektur khas Islam.
Pembangunan masjid Cheng Ho atau yang juga dikenal dengan nama Masjid Muhammad Cheng Ho Surabaya bertepatan dengan Isra’ Miraj Muhammad SAW yakni pada 15 Oktober 2001. Prosesnya memakan waktu satu tahun dan baru selesai seluruh bagiannya pada Oktober 2002. Masjid ini didirikan atas prakarsa para sesepuh, penasehat, pengurus Pembina Imam Tauhid Islam (PITI), pengurus Yayasan Haji Muhammad Cheng Ho Indonesia Jawa Timur, serta tokoh masyarakat Tionghoa di Surabaya.
Kompleks masjid dibangun di atas tanah seluas 3.070 m2. Perpaduan gaya Arab dan Tiongkok menjadi ciri khas masjid ini. Arsitektur masjid diilhami Masjid Niujie di Beijing yang dibangun pada 996 Masehi, dan tampak pada bagian atap utama, dan mahkota masjid. Selebihnya, masjid ini memadukan gaya arsitektur Arab dan Jawa. Arsitek Masjid Cheng Ho Surabaya ialah Abdul Aziz.