Ответ: $\lambda=\dfrac{1}{\sqrt{3}}$. Пусть $L$ — точка пересечения диагоналей $AC$ и $BF$ (см. рисунок). Диагонали $BF$ и $CE$ параллельны, поэтому треугольники $BLM$ и $NCM$ подобны; следовательно,
$$
\frac{|BL|}{|NC|}=\frac{|LM|}{|CM|}
$$
Выразим длины отрезков в этом равенстве через $\lambda$, считая длину диагонали $AC$ равной 1.
Из подобия треугольников $ABL$ и $CFL$ следует, что $|BL|: |LF|=|AB|:|CF|=1:2$. Следовательно, $|BL|=\dfrac13$, так как $|BF|=|AC|=1$. Аналогично, $|AL|=\dfrac13$. Ясно, что $|CN|=|AM|=\lambda$, $|CM|=1-\lambda$, а $|LM|=|AM|-|AL|=\lambda -\dfrac{1}{3}$. Таким образом,
$$\frac{1/3}{\lambda}=\frac{\lambda-1/3}{1-\lambda},$$
то есть $\lambda^2=\dfrac13$ и $\lambda=\dfrac{1}{\sqrt{3}}$
Рисунок