Il a peut-être deux ans quand ses parents et lui s’installent dans cette ville, à leur retour d’Égypte. Apparemment, il est, à ce moment-​là, leur seul enfant. Mais par la suite, il aura des demi-frères : Jacques, Joseph, Simon et Judas. Joseph et Marie auront aussi des filles, les demi-sœurs de Jésus. Jésus a donc au moins six frères et sœurs.

Joseph doit travailler dur pour subvenir aux besoins de sa famille qui s’agrandit. Il est charpentier. Il élève Jésus comme son propre fils ; celui-ci est d’ailleurs appelé « le fils du charpentier » (Matthieu 13:55). Il lui apprend son métier, et son fils est un bon apprenti. Plus tard, les gens parleront même de Jésus comme étant « le charpentier » (Marc 6:3).