যদুনাথ সরকারের জন্ম ১৮৭০ খ্রিষ্টাব্দের ১০ ডিসেম্বর, বৃহত্তর রাজশাহী জেলার আত্রাই থানার (বর্তমান নাটোর জেলার সিংড়া উপজেলার ছাতারদিঘী ইউনিয়ন) কড়চমারিয়া গ্রামে৷ পিতা রাজকুমার সরকার এবং মাতা হরিসুন্দরী দেবীর ৭ পুত্র এবং ৩ কন্যার মধ্যে তিনি ৫ম সন্তান, ৩য় পুত্র। তাদের পূর্বপুরুষ ধনাঢ্য জমিদার হিসাবে প্রতিষ্ঠিত ছিলেন। বিদ্যানুরাগী রাজকুমার সরকারের ব্যক্তিগত গ্রন্থাগার ছিল বিশালাকার। গণিতের ছাত্র হলেও ইতিহাসে ছিল গভীর আগ্রহ। নানা জনহিতকর কাজে তিনি সময় ও অর্থ ব্যয় করতে ভালোবাসতেন। জোড়াসাঁকোর ঠাকুর পরিবারের সঙ্গে ছিল ঘনিষ্ঠ সম্পর্ক। এই বিষয়াদি যদুনাথ সরকারকে প্রভাবান্বিত করেছিল। পিতার মাধ্যমেই অল্প বয়সে তাঁর পরিচয় হয়েছিল বার্ট্রান্ড রাসেলের ‘হিস্ট্রি অব ইংল্যান্ড’ নামীয় গ্রন্থের সঙ্গে। রাজকুমার সরকার পুত্রের হাতে প্লুটার্ক রচিত প্রাচীন গ্রিক ও রোমান নায়কদের জীবনী তুলে দিয়েছিলেন। পিতাই তাঁর কিশোর চিত্তে ইতিহাসের নেশা জাগিয়ে দিয়েছিলেন। অধ্যাপনার মাধ্যমে ১৮৯৮ সালে প্রেসিডেন্সি কলেজে তার প্রথম কর্মস্থল নির্ধারিত হয়। ১৮৯৯ সালে পাটনা কলেজে বদলী হয়ে ১৯২৬ সাল পর্যন্ত তিনি সেখানে ছিলেন। মাঝখানে কিছুকাল ১৯১৭ থেকে ১৯১৯ সাল পর্যন্ত কাশী হিন্দু বিশ্ববিদ্যালয়ে ইতিহাসে অধ্যাপনা করেন। অধ্যাপক জীবনের বেশীরভাগ সময়ই কাটে পাটনা ও কটকে।[৩] ৪ আগস্ট, ১৯২৬ সালে কলিকাতা বিশ্ববিদ্যালয়ের ভাইস-চ্যান্সেলর হিসেবে মনোনীত হন। কলিকাতা বিশ্ববিদ্যালয়ের তিনিই প্রথম অধ্যাপক ভাইস-চ্যান্সেলর ছিলেন তিনি। যদুনাথ সরকার ১৯২৩ সালে রয়্যাল এশিয়াটিক সোসাইটির সম্মানিত সদস্য হন।