Взрослые таки занимаются обучением детей, хотя любят отнекиваться.
Типичный диалог взрослого с маленьким ребенком:
- Смотри, вот дерево (понятно, показывая пальцем).
- Угу-гу
- Оно зеленое.
- Ы-гы-гы
- А дядя рядом с ним писает.
- Э-ге-ге

И все с перефразировкой, мимикой, жестикуляцией и притопом.

Позже взрослые автоматически исправляют неправильно построенные детьми фразы, обучая детей грамматике. И на обучение разговорному языку таки уходит МНОГО лет.

Просто слушая незнакомую речь выучить язык практически невозможно. Нужна обратная связь.