তিনি ১৯৩৭ সালের ২১ নভেম্বর কুষ্টিয়া জেলার ভেড়ামারা শহরে জন্মগ্রহণ করেন। পৈত্রিক সূত্রে তিনি যশোর সদর থানার সিঙ্গিয়া গ্রামের (বর্তমানে বসুন্দিয়া) লোক ছিলেন। তার বাবার নাম আমীর আলী এবং মাতা রহিমা খাতুন।শমশের আলীর শিক্ষা শুরু হয় চুয়াডাঙ্গা এলাকার স্থানীয় ইউসুফ মাস্টারের স্কুলে। পিতার চাকরির কারণে তারা সপরিবারে চলে যান ভারতের চব্বিশ পরগনার রানাঘাটে। সেখানে শমশের আলীকে ভর্তি করে দেওয়া হয় লালগোপাল স্কুলে। এখানে দুবছর লেখাপড়ার পর ভারত ভাগের কারণে ১৯৪৮ সালে তারা সপরিবারে ফিরে আসেন যশোরে। এবং এখানেই বসবাস করতে শুরু করেন। এরপর তাকে ভর্তি করে দেওয়া হয় যশোর জিলা স্কুলের পঞ্চম শ্রেণিতে। এবং এই স্কুল থেকেই তিনি ১৯৫৪ সালে ম্যাট্টিক পাস করেন। তিনি ১৯৫৪ সালে ভর্তি হন রাজশাহী কলেজে। ১৯৫৬ সালে এই কলেজ থেকে আই. এস. সি. পাস করেন। কলেজ জীবন শেষে তিনি ১৯৫৬ সালে ভর্তি হন ঢাকা বিশ্ববিদ্যালয়ে। তার পছন্দের বিষয় ছিল পদার্থবিজ্ঞান। ১৯৫৯ সালে শ্রেষ্ঠত্বের সাথে অনার্স এবং ১৯৬০ সালে এম. এস. সি ডিগ্রি অর্জন করেন। ১৯৬১ সালে ম্যানচেস্টার বিশ্ববিদ্যালয় থেকে পি.এইচ.ডি ডিগ্রি সম্পূর্ণ করেন এবং ১৯৬৫ সালে সেই ম্যানচেস্টার থেকেই থিওরেটিক্যাল নিউক্লিয়ার ফিজিক্স বিষয়ে পি. এইচ. ডি ডিগ্রি অর্জন করেন