Сегодня в русском языке много слов, которые не употребляются без "не". С течением времени аффикс превратился в часть корня, так получились неуклюжий, нелепый, нельзя и невзначай. Но ещё пару столетий назад "льзя" активно использовали в повседневной речи.