Setelah periode hidup di hutan ini, Natsir lalu mendekam dari satu penjara ke penjara lain pada tahun 1960-1966. Keluarganya pun kehilangan rumah di Jalan Jawa termasuk mobil DeSoto. Harta itu diambil alih kerabat seorang pejabat pemerintah.
Saat itu keluarga Natsir menjadi “kontraktor” rumah, menjalani hidup sebagai nomad. Pindah dari pavilun di Jalan Surabaya sampai ke rumah petak di Jalan Juana, di belakang Jalan Blora, Jakarta Pusat. Rumah itu cuma terdiri atas satu kamar tidur, ruang tamu kecil dan ruang makan merangkap dapur.
Setelah Natsir bebas dari Rumah Tahanan Militer Keagungan Jakarta tahun 1966, dia lalu membeli rumah milik kawannya di Jalan Jawa. Rumah itu sebenarnya dijual dengan harga teman, tetapi Natsir tidak mempunyai uang. Sehingga dia harus pinjam dari sejumlah kawan dan dicicil selama bertahun-tahun.
