Přestože se Srila Haridasa Thakura narodil v muslimské rodinĕ, byl přijímán jako řádnĕ zasvĕcený brahmana. Jako takový mĕl plné právo vstoupit do chrámu v Džagannáth Purí. Protože však tamní pravidla dovolují vstup pouze členům systému varnasrama-dharmy neboli brahmanům, ksatriyům, vaisyům a sudrům, Haridasa Thakura ve své velké pokoře nechtĕl tato pravidla porušovat. Proto řekl, že nemá sílu do chrámu vstoupit, a poukázal tedy na to, že pokud bude Pán Sri Caitanya Mahaprabhu žít v chrámu, nebude mít Haridasa Thakura možnost Ho vidĕt. Když potom pozdĕji Haridasa Thakura odešel do Džagannáth Purí, žil mimo chrám na místĕ zvaném Siddhabakul. Dnes tam stojí klášter zvaný Siddhabakul Math. Návštĕvníci Džagannáth Purí často navštĕvují Siddhabakul i hrobku Haridase Thakura na pláži u moře.