ማእw যশোহর-খুলনার ইতিহাস হইতে মুক্ত হইবার পরও অনেক ক্ষুদ্র জমিদারী এই ভাবে হস্তগত করেন। উত্তর পশ্চিম প্রদেশে vকাশীধামে এবং মীর্জাপুরেও তিনি কিছু সম্পত্তি অর্জন করিয়া ছিলেন। অবশেষে ১৮২০ অব্দে নিজ পুত্রদ্বয় রামনারায়ণ ও জয়নারায়ণের হস্তে সমস্ত সম্পত্তির ভারার্পণ করিয়া, তিনি প্রায় ৭০ বৎসর বয়সে, মৃত্যুর অপেক্ষায় প্রস্তুত হইবার জন্ত, হিন্দু-জীবনের চিরন্তন প্রথানুসারে কাশীযাত্রা করেন। কাশীতেও তিনি নিশ্চিন্ত ছিলেন না। এ সময়ে পাণ্ডাদিগের পীড়নে এবং অন্তবিধ দুৰ্ব্বক্তগণের উৎপাতে কাণীক্ষেত্রে নিরীহ তীর্থযাত্ৰগণ সৰ্ব্বদা বিড়ম্বিত হইত। কালীশঙ্কর সে দৃপ্ত সহ করিতে পারিলেন না। তিনি অবিরত চেষ্টা ও নানাকুট-কৌশলে সৰ্ব্বজাতীয় অত্যাচারীদিগকে রাজদণ্ডে দণ্ডিত করাইয়৷ কাশীক্ষেত্রকে নিরুপদ্রব করিয়া যান। ভারতীয় তীর্থক্ষেত্রের মধ্যে বোধ হয় কাশীতেই সৰ্ব্বাপেক্ষ অধিক সংখ্যক যাত্রীর সমাগম হয় ; কিন্তু ইহা অসঙ্কোচে বলা যায় যে, কাশীতে যেরূপ পাণ্ড বা অন্ত কাহারও কোন অত্যাচার নাই, এমন শান্তিময় অবস্থা আর কোনও তীর্থে দেখা যায় না । এই অবস্থার জন্ত কাশীবাসিগণ চিরদিন প্রধানতঃ কালীশঙ্কর রায়ের নিকট ঋণী রহিবেন। সেই পৰিত্ৰ কাশীধামে ১৮৩৪ অকে, প্রায় ৮৫ বৎসর বয়সে কালীশঙ্করের দেহ ত্যাগ হয় । কালীশঙ্কর কাশী যাওয়ার পর প্রথমতঃ তৎপুত্র জয়নারায়ণ (১৮২২ ) ও পরে রামনারায়ণ (১৮২৭) মৃত্যুমুখে পতিত হন। কালীশঙ্কর দেশে থাকিবার কাল পর্যন্ত র্তাহার পুত্রদ্ধয় একত্র ছিলেন। পরে তাহারা পৃথক্ হন। তদবধি বড়তরফ ও ছোটতরফ নামের স্বষ্টি । রামনারায়ণের তিনপুত্র, রামরতন হানাখ ও রাধাচরণ পূৰ্ব্ব-বাটতে থাকিলেন বলিয়া উহাদের বংশধরগণ সাধারণতঃ "নড়াইলের ধাবু বলিয়া খ্যাত। জয়নারায়ণের চারিপুত্র মধ্যে ভবামীদাস ও কৃষ্ণদাস নাবালক অবস্থায় মারা যান, দুর্গাদাস ও গুরুদাস মাত্র জীবিত ছিলেন। তাহার নড়াইলের বাটার অদূরবর্তী ব্রাহ্মণডাঙ্গ বা হাটবাড়ির গ্রামে নদীতীরে বসতি স্থাপন করেন। এজন্য উহাদের বংশধরেরা "হাটবাড়িয়ার জমিদারবাবু” বলিয়া পরিচিত। কালীশঙ্করের মৃত্যুর কিছুদিন পরে দুর্গাদাসও অপুত্ৰক সারা যান। তখন ছোটতরফে একমাত্র গুরুদাস জীবিত থাকিলেন । তিনিও
