עלילת הספר עוקבת אחרי
ז''אן ולז''אן, בן למשפחה עניה שתומך באחותו ובשבעת ילדיה לאחר מות בעלה. לאחר שהמשפחה מגיעה לחוסר כל הוא מתפתה לגנוב כיכר לחם אחת מחנותו של אופה, ונתפס. כעונש על מעשה זה הוא נשלח לרצות שבע שנים בכלא. עקב נסיונותיו התכופים לברוח משך שהייתו בכלא הולכת ומתארכת עד לסך של 19 שנים. בכלא ז''אן מטפח מרירות רבה כלפי האנושות כולה. לאחר שחרורו הוא נודד עם תעודת מסע צהובה, המעידה עליו כי הוא אסיר לשעבר, וגורמת לנידויו על-ידי אנשי הכפרים אשר מפחד ומטעם דעותיהם הקדומות מסרבים להניח לו אף לאכול או לישון בפונדק בעד תשלום.
בעודו נוטה לישון על ספסל אבן באמצע הכפר, מפנה אותו אישה זקנה לביתו של הגמון האזור.
ההגמון הוא איש קדוש אשר מקבל אליו את הנווד בלא לשאול שאלות ומארחו. ולז''אן מקבל את הכנסת האורחים הזו אך כיוון שהוא מלא שנאה הוא גונב מן ההגמון הזקן כמה כלי כסף ונמלט באישון לילה. ביום המחרת ולז''אן נתפס ומובל בחזרה אל הבישוף כדי לאמת את דבר הגניבה, ולשלוח את ולז''אן בחזרה לכלא לשארית ימיו. הבישוף לא ממלא אחר צפייה זו, הוא טוען בפני השוטרים ובפני ולז''אן המופתע כי הוא העניק
לולז''אן את הצלחות היקרות ומעניק לו בנוסף את פמוטי הכסף אשר הלה ''שכח'' כאשר יצא בפעם שעברה. הוא ''מזכיר'' לולז''אן בלחישה שלא ישכח כי הוא הבטיח לנצל את הכסף כדי לחזור למוטב ולעשות טוב.
אירועים אלו מעצבים מחדש את אישיותו של ולז''אן. הוא מגלה את הקדושה בדמותו של ההגמון, והוא נחוש בדעתו למלא אחר מצוותו של הלה. הספר עוקב אחרי ולז''אן כאשר הוא, בשם בדוי, מקים מפעל תכשיטים ואף הופך להיות ראש עיר כשהוא תורם לפיתוחו של כל האזור. במסגרת תפקידו כראש עיר הוא פוגש ב
פנטין, זונת רחוב שנקלעה למצוקה. הוא מנסה לעזור לה, אך לצערו הרב, פנטין נפטרת ממחלה.
את התקומה המחודשת הזו עוצר שוטר קפדן בשם
ז''אבר, הפועל רק לפי החוקים ללא התחשבות ברווחת הכלל או באנשים הנפגעים
כתוצאה מפעולותיו, שהיה בעברו סוהר בכלא שבו נאסר ולז''אן. ז''אבר
חושד בראש העיר ובטוח שהוא האסיר הנמלט ז''אן ולז''אן שהפר את תנאי שחרורו. ז''אבר שחושד בראש העיר מדווח לממונים עליו כי הוא חושד בו, לאחר שהוא מקבל מכתב תשובה כי ז''אן ולז''אן נתפס מתמלא ז''אבר רגשות אשם משום שהוא חשד באדם מכובד, כתוצאה מכך הוא מספר לז''אן ולז''אן את הסיפור ומתפטר. ראש העיר, ולז''אן, אינו יכול להניח לאדם אחר לשאת את אשמתו הוא, שכן האדם שנתפס אינו ז''אן ולז''אן האמיתי, כמובן, ומסגיר עצמו למשטרה ולחיים בכלא. תוך כדי עבודת הפרך צצה לולז''אן הזדמנות לברוח, והוא עושה זאת. ז''אן ולז''אן היודע על קיומה של
קוזט - קוזט הושארה אצל משפחה אומנת על ידי אמה (פנטין) אשר קיוותה להרוויח מעט כסף כדי שתוכל לתמוך בה קודם שתיקח אותה בחזרה. משפחה זו (משפחת נוכלים בשם
תנרדייה) התעללה בילדה וסחטה כספים מאמה על מנת לקיים את בנותיה שלה. אמה (פנטין) פוטרה מעבודתה במפעלו של ולז''אן, ובשל הצורך העז לכסף, לשלוח לבתה, התדרדרה לזנות ומתה לבסוף מדלקת ראות. על ערש מותה של פנטין, מבטיח לה ולז''אן לגאול את קוזט מידיהם של משפחת תנרדייה ולהחזירה אליה. מאחר שפנטין מתה וז''אבר רודף אחריו, מחליט ולז''אן לברוח לפריז ולגדל שם את קוזט כאילו היא הייתה בתו.
סקירות נוספות אודות עלובי החיים - חלק ראשון