En décembre 1858, refusé par l'institution jésuite de Vaugirard, Jack, fils adultérin d'Ida de Barancy, une demi-mondaine, échoue dans le collège insalubre du mulâtre Moronval. Ida succombe au charme d'un des professeurs, le rimailleur d'Argenton, et quitte son riche amant pour son poète. Jack s'enfuit du collège et rejoint le couple après maintes tribulations. L'intelligence de l'enfant se développe au contact du docteur Rivals. Mais d'Argenton, qui ne l'aime pas, décrète qu'il sera ouvrier.