Loke Hall dibina dengan reka bentuk eklektik (kaedah) Selat, yang menampilkan elemen neo-klasik dan Renaissance (zaman pembaharuan). Ia direka dengan tiga bahagian, di mana bahagian tengahnya lebih menonjol, dan membentuk sebuah serambi (anjung). Rumah agam ini mempunyai susun atur yang sangat simetri, dengan dua tangga yang sama dan sebuah halaman terbuka di bahagian tengah yang menjadi tumpuan utama dalam kediaman tersebut. Seperti vila aristokrat Cina pada zaman itu, laman ini dibina mengikut prinsip feng shui — membenarkan cahaya matahari terus masuk ke pusat rumah. Mengikut kepercayaan ini dapat mengumpulkan tenaga positif atau qi, yang akan membantu menarik kekayaan dan mengekalkan kesihatan.
“Pengunjung yang datang perlu mencari laman tengah yang unik ini,” kata Ng. “Jubin lantai hiasan jenis encaustic itu pula seusia bangunan ini sendiri — berasal dari tahun 1903! (Encaustic tiles ialah jubin seramik yang coraknya dihasilkan daripada campuran tanah liat berwarna, bukan daripada sapuan kilat).”
Ng turut berkongsi bahawa jika anda terlihat dinding berwarna biru, itu bermakna anda sedang berada di kawasan yang dahulunya merupakan ruang makan dan ruang keluarga Loke berkumpul.
Sebagai seorang arkitek, dia meminati hampir setiap sudut bangunan ini, terutamanya hiasan seni bina klasik pada bahagian luar bangunan yang menggabungkan unsur Barat dan Cina.
Siapa sebenarnya yang telah dilantik oleh Loke untuk mereka bentuk rumah agam ini pada tahun 1903, terdapat beberapa teori yang berbeza. Ada yang berpendapat bahawa, disebabkan kesetiaannya kepada Negeri-Negeri Selat, Loke mungkin telah mengupah seorang arkitek tempatan dari Negeri-Negeri Selat, atau WH Nicholas, seorang kenalan rapatnya. Tidak mustahil juga bahawa Loke telah mendapatkan khidmat firma seni bina terkemuka dari Singapura ketika itu, iaitu Swan & Maclaren.
Sejak dibina, rumah agam ini telah silih berganti dihuni penyewa. Apabila Loke memindahkan keluarganya ke Pulau Pinang pada tahun 1908, bangunan ini telah diubah suai menjadi Empire Hotel, bermulalah era penyewaan oleh pelbagai hotel. Semasa penjajahan Jepun di Tanah Melayu, rumah agam ini dirampas dan dijadikan Hotel Tentera Jepun. Selepas perang tamat, bangunan ini telah diambil semula oleh pihak British dan digunakan sebagai bangunan ibu pejabat untuk Briged Pengawal Kedua (Second Guards Brigade).
Selepas Tanah Melayu mencapai kemerdekaan, Loke Hall dibuka semula sebagai Hotel Peninsula. Ia kembali hidup, menjadi tempat tumpuan popular dalam kalangan ahli politik dan organisasi bukan berasaskan keuntungan, selain turut menempatkan sebuah restoran Cina terkenal. Namun, menjelang tahun 1970-an, hotel ini tidak lagi mampu menjana keuntungan dan akhirnya ditutup.
Pada tahun berikutnya, bangunan ini mula terbiar dan rosak, malah pernah dicadangkan untuk dirobohkan bagi memberi laluan kepada pembangunan bangunan pencakar langit – walaupun pelan tersebut akhirnya tidak diteruskan.
Pada tahun 2012, Dewan Bandaraya telah mengambil alih bangunan ini, mengisytiharkannya sebagai bangunan warisan, menamakannya semula sebagai Rumah Tangsi (sempena nama jalan kawasan tersebut), dan memulakan usaha pemuliharaan rumah agam yang ketika itu sudah usang (tahun 2014). "Tangsi" ialah perkataan Melayu yang merujuk kepada berek, sebagai peringatan kepada sejarah kolonial kawasan ini, apabila jalan tersebut – dahulu dikenali sebagai Barrack Road – menempatkan berek dan bangunan persenjataan polis.
Usaha untuk mengembalikan rumah agam ini kepada keindahan asalnya dijalankan secara menyeluruh. Ukuran dan dimensi setiap bahagian bangunan direkodkan semula, dan bahan binaan tradisional yang diperolehi juga adalah sama atau tepat bagi menggantikan komponen asal.
