ভিতরে তার যে অসার টলমল অবস্থা তা বুঝতে না পেরে তার সঙ্গে জড়িয়ে পড়েছিলেন। শেষে সেই হাউস ফেল হওয়াতে তিনি অশেষ ঋণভারে আক্রান্ত হয়ে পড়লেন। তিনি ও তাঁর মধ্যম ভ্রাতা গিরীন্দ্রনাথ উভয়েই স্বভাবত ব্যয়শীল ছিলেন। এই বিষয় পিতার জীবনীতে এইরূপ বর্ণিত আছে—
“এত দিনে, এই দশ বৎসরে আমাদের ঋণ অনেক পরিশোধ হইয়া গিয়াছে। পিতৃঋণের মহাভার আমার অনেক কমিয়াছে। কিন্তু আমার আর এক প্রকার নূতন বিপদভার, ঋণভার আমাকে জড়াইতে লাগিল। গিরীন্দ্রনাথ যখন জীবিত ছিলেন তখন তিনি তাঁহার নিজের খরচের জন্য অনেক ঋণ করিয়াছিলেন। আমি তাঁহার কতক ঋণ পিতৃঋণের সঙ্গে পরিশোধ করিয়াছিলাম। এখন আবার নগেন্দ্রনাথ তাঁহার নিজ ব্যয়ের জন্য অধিকাধিক ঋণ করিতে আরম্ভ করিলেন। কেবল নিজের ব্যয়ের জন্য নয়, এমন কি, ১০০০০ দশ হাজার টাকা ঋণ করিয়া তিনি আর একজনের আনুকূল্য করিতেন—তিনি এমনি পরদুঃখে দুঃখী ও দয়ালু ছিলেন। তাঁহার বদান্যতা, তাঁহার প্রিয় ব্যবহার লোকের মনকে অতিমাত্র আকর্ষণ করিয়াছিল।” (ত্রিংশ পরিচ্ছেদ)
তিনি উল্লিখিত নানা কারণে বিলাত থেকে ফিরে এসে অবধি একটা উচ্চ পদের সরকারী চাকরীর সন্ধানে ফিরছিলেন। যে সকল বড় বড় সাহেব তাঁর পিতার বন্ধু ছিলেন তাঁদের সাহায্য প্রার্থনা করে পত্র লেখেন; অনেক সাধ্য সাধনার পর তিনি ৬ই মার্চ ১৮৫৪ সালে কষ্টম্স কলেক্টরের সহকারীরূপে নিযুক্ত হন। কিন্তু সে পদ তাঁকে অধিক দিন ভোগ করতে হয় নাই। ১৮৫৬ সালে জুন মাসে তিনি ইস্তফা পত্র দিয়ে তাঁর কলেক্টর Young সাহেবকে লিখছেন—
“আজ আমার অবকাশের দিন সমাপ্ত হইল। দুঃখের সহিত নিবেদন করিতেছি, গত তিন মাস ধরিয়া আমার বিষয় কর্মের ঝঞ্ঝাট মিটাইবার সাধ্যমত চেষ্টা করিয়া তাহাতে যদিও অনেকটা কৃতকার্য
