20 de março de 2023
A MemberKit está sempre buscando promover a melhor experiência possível para infoprodutores.
Recentemente, um dos pedidos mais comuns tem sido o de métricas de feedback dos alunos sobre as aulas e o conteúdo.
Nós não só implementamos as métricas mais pedidas, como também decidimos ir além e fazer a pergunta:
“Por que infoprodutores estão interessados em métricas de feedback de qualidade do conteúdo?”
A resposta foi clara: para aumentar a quantidade de clientes matriculados nos seus cursos e consequentemente crescer o seu negócio.
Por isso, em parceria com a Koan Labs, desenvolvemos um elegante sistema de feedback de qualidade de infoprodutos que vai além das métricas clássicas de engajamento (curtidas, ratings e comentários).
A Koan Labs é uma empresa especializada em desenvolvimento de complexas tecnologias multidisciplinares e trabalhou intensamente com a MemberKit neste projeto.
A seguir, vamos te contar o que já existia de melhor em métricas de feedback e as críticas que essas métricas recebem de pesquisadores do assunto.
Por fim, apresentaremos em detalhes o nosso novo sistema de feedback para infoprodutores: o Mscore.
De acordo com um famoso paradigma de negócios, os clientes que recomendam o produto/serviço a outras pessoas são fundamentais para o crescimento da empresa.
Esses clientes leais funcionam como uma extensão do time de marketing da empresa.
E eles acabam fazendo uma campanha mais efetiva de conquista de novos clientes e expansão de mercado.
Traduzindo para o mundo do infoproduto: clientes satisfeitos têm mais probabilidade de trazer novos clientes para os cursos, o que aumenta a receita do produtor.
Essa métrica é medida através do que é chamado de Net Promoter Score ou NPS.
O Net Promoter Score é a métrica mais famosa para esse tipo de análise.
Ela é calculada baseada na resposta da pergunta:
"De 0 a 10, quão propenso você está para recomendar esse produto ao seus amigos e familiares?",
Nessa escala, 0 significa que você não recomendaria e 10 que você recomendaria com certeza.
Depois da coleta de dados, o NPS se dá como a porcentagem de respostas com pontuação acima de 8 subtraida da porcentagem de respostas abaixo de 7, como na fórmula abaixo:
% de clientes satisfeitos – % de clientes insatisfeitos = NPS
A lógica é que clientes com respostas acima de 8 são chamados de promotores.
Já os clientes com respostas abaixo de 7 são chamados de detratores, que são clientes que difamaríam o produto.
Apesar de essa métrica ser amplamente utilizada na maioria das análises de satisfação dos clientes, ela vem sendo questionada por talvez não ser mais informativa ou eficiente que outras métricas.
Mesmo os proponentes do NPS sugerem que ela deve ser usada paralelamente a outras medidas.
Outra crítica é o fato de dependermos da participação ativa de clientes na pesquisa.
Nem todos têm perfil para responder pesquisas de satisfação.
Além disso, já que clientes de infoprodutos com perfis diferentes são naturalmente segmentados, essa métrica é pouco confiável.
Aliás, todas as outras métricas mais comuns de feedback têm esse problema.
Se os clientes não interagem com a plataforma, os resultados não representarão a opinião de todos os clientes.
Simplificando tudo isso no contexto de infoproduto, o que conta é a satisfação dos clientes.
Como dissemos, métricas relacionadas com engajamento são problemáticas, porque dependem do perfil de engajamento dos clientes.
Por isso, não funciona como uma medida absoluta de satisfação.
Por exemplo, vamos tomar a porcentagem de clientes que "curtem" uma certa aula, como uma métrica de satisfação do cliente.
Quanto é um valor que podemos considerar bom?
Talvez se 80% dos clientes curtirem a aula? Talvez 60%?
Se pelo menos 75% dos clientes curtirem a aula, a meta está em um nível razoável para um infoprodutor.
Será que essa meta é a mesma para todos os outros infoprodutores?
Obviamente espera-se que um público com perfil de dar feedbacks mais frequentemente tenha um índice de "curtidas" maior.
Por isso, a falta de um gold standard para se comparar essas medidas, o que é a proposta da métrica NPS, dificulta ainda mais a sua utilização na inferência de satisfação dos clientes.
O maior problema de focar nessas métricas de satisfação de clientes é que ela pode sugerir ao infoprodutor ações equivocadas para melhorar a qualidade do conteúdo.
Por exemplo, suponha que o tema de um infoproduto atraia naturalmente clientes que não costumam dar feedback, mesmo gostando do conteúdo.
Se você estiver seguindo a métrica de "curtidas", você vai estar inclinado a maximizá-la.
Para isso, você pode aderir a ações como, por exemplo, pedir para seus clientes para "curtir" o conteúdo no final da aula.
Porém, isso pode parecer chato, irritar o cliente e acabar atingindo o objetivo oposto.
O que é realmente necessário é conhecer o seu público ao montar o conteúdo.
"As pessoas dificilmente continuam fazendo algo que não acham bom".
Por isso, um jeito de avaliar a qualidade de conteúdo de infoprodutos sem precisar envolver a participação do cliente é observar a progressão dos alunos no curso.
A medida mais simples é a taxa de conclusão do conteúdo.
Ou seja, a porcentagem de clientes que consome o conteúdo total do curso.
Essa medida simples já é oferecida pela MemberKit aos seus clientes, mas ela não apresenta maiores insights sobre como melhorar o curso.
Por isso a MemberKit desenvolveu, em parceria com a Koan Labs, um sistema para dar esse feedback mais preciso sobre a qualidade das aulas.
Mas antes, é preciso explicar o que está por trás desse sistema e quais os fundamentos que o tornam tão relevante para o infoprodutor.
Analisando diversos tipos de medidas e progresso de alunos, a Koab Labs e a MemberKit favorecem a seguinte hipótese:
"Aulas difíceis ou de baixa qualidade são rotas de abandono, pois impedem o progresso de alunos no caminho para completar o curso".
Rotas de abandono são canais pelos quais os alunos deixam de continuar o curso até o final do conteúdo.
Alunos que abandonam o curso tendem a não achar que valeu a pena o seu investimento.
Afinal, eles não estão mais interessados no resto do conteúdo que já foi pago.
Esses clientes dificilmente podem ser considerados como clientes leais, que farão uma propaganda positiva e espontânea do curso para seus amigos e familiares.
Provavelmente serão clientes detratores, ou seja, que irão fazer uma propaganda negativa do curso.
Logo, a MemberKit implementou uma visualização simples que mostra exatamente em que fase do curso cada cliente está.
Essa visualização permite identificar quais aulas podem ser melhoradas.
Dessa forma, fica evidente que os alunos ficam mais empacados nelas que em outras do mesmo curso.
A MemberKit analisa o progresso individual de cada um dos seus clientes (aqueles que estão matriculados no curso e ainda não terminaram todas as aulas), organizando-os pela evolução nas aulas em tempo real.
Essa visualização permite vários insights com uma única análise.
O "Empacômetro" é uma medida que aponta quais aulas estão travando o progresso dos alunos no curso.
A visualização de progresso é colorida pela escala do Empacômetro.
Isso ajuda a reconhecer aulas que podem ter um maior impacto na taxa de conclusão do curso se forem trabalhadas.
Essa medida é altamente importante, pois ela parte do princípio de que, se os conteúdos do curso são bem distribuídos entre as aulas, a probabilidade de clientes empacarem em uma aula específica é a mesma.
Com isso, o número de clientes em cada aula tende a ser parecido entre elas.
Pela nossa experiência, aulas que tem alto Empacômetro são aulas que podem ser trabalhadas.
Elas podem ser divididas em mais de uma aula, ter seu conteúdo refeito para facilitar o consumo ou até mesmo eliminadas do curso se possível.
Além disso, o feedback dos alunos em aulas com alto Empacômetro pode ser extremamente rico para a melhoria da aula e do curso em geral.
Por isso, um engajamento focado em alunos nessas aulas é extremamente benéfico para entender como melhorar o curso.
O Mscore parte do princípio que um curso bem balanceado e com matrículas contínuas deve ter uma quantidade de alunos igualmente distribuída em todas as suas aulas.
Ele nada mais é do que uma métrica do desvio da distribuição dos seus clientes no curso comparado com o que deveria ser esperado.
Quanto mais próximo de 1, mais bem distribuídos estão os seus clientes.
Quando você trabalha para diminuir o índice de Empacômetro de uma aula, você está trabalhando para aumentar o Mscore do curso e, consequentemente, a qualidade do mesmo.
Abaixo mostramos o sistema de Mscore de feedback para três cursos com Mscore alto.
Aqui podemos observar uma distribuição equilibrada dos alunos nas aulas, o que é considerado uma boa métrica da qualidade do curso como um todo e também das aulas individualmente.
Agora vamos ver visualizações de cursos que podem ser melhorados.
Abaixo temos três cursos que precisam ser aprimorados nas suas aulas finais:
Note que os dois primeiros mostram claramente uma única aula que concentra mais alunos.
No caso do curso da esquerda é a aula equivalente a 90% de progresso do curso e no curso do meio a aula correspondente a 70% do curso.
Porém, na visualização do curso da direita, apesar de não ter nenhuma aula especificamente com alto Empacômetro, dá para perceber que o final do curso tende a ter aulas com mais alunos que as outras.
Isso sugere que trabalhar essas aulas pode melhorar a taxa de conclusão do curso.
Por fim, vamos ver outros três cursos com aulas com alto grau de Empacômetro:
Como podemos ver, essa visualização rapidamente aponta quais partes do curso podem ser trabalhadas para melhorar a taxa de conclusão.
No caso desses cursos, as aulas iniciais podem ser o foco de um esforço pontual para melhoria do curso.
Como o padrão de distribuição de clientes desejado nas aulas é universal, o Mscore permite comparar o seu curso com outros cursos na MemberKit, e isso resulta num feedback de avaliação do seu curso.
Assim, você pode ter uma ideia de como investir seus recursos para melhorar o retorno financeiro de maneira mais eficiente.
Por exemplo, se o Mscore do curso já é alto, provavelmente você deve investir em marketing e divulgação, e não só em melhorar a qualidade das aulas.
Por outro lado, se alguma das aulas tem o Empacômetro alto, uma boa opção é investir em melhorar a qualidade daquela aula e ver se o Mscore aumenta.
Se todas as aulas de um curso forem de baixa qualidade, é possível que o Mscore seja alto e o índice de empacômetro em cada um das aulas seja relativamente baixo.
Esse é um caso de falso positivo.
Mas é óbvio que se todas as aulas forem de baixa qualidade, a taxa de conclusão do curso permanece muito baixa.
Por isso, é bom sempre analisar o sistema do Mscore com a métrica de taxa de conclusão de curso.
No momento, o sistema Mscore perde o significado para cursos em que as aulas ou módulos são independentes, ou seja, não precisam ser consumidos na ordem cronológica, pois se torna impossível acompanhar o nível de progresso do aluno.
Futuramente, a Memberkit e a Koan Labs poderão resolver esse problema, caso haja necessidade.
O sistema Mscore também não é um feedback preciso para cursos nos quais os clientes são encorajados a progredir em conjunto.
Isso acontece, por exemplo, quando o infoprodutor prefere acompanhar turma a turma ou em cursos novos com conteúdos que ainda estão sendo testados.
Idealmente, infoprodutos são mais lucrativos se forem autossuficientes, o que permite a matrícula contínua de clientes sem o acompanhamento do infoprodutor.
Esse conjunto de metricas de feedback para infoprodutores é uma inovação da MemberKit com a Koab Labs e está em fase de testes.
Nós continuaremos trabalhando para melhorar os cálculos dessas métricas, visando feedbacks mais precisos, eficientes e informativos para os infoprodutores da plataforma.
É possível que melhorias significativas sejam feitas nos algoritmos por trás do sistema Mscore, mas sempre informaremos os infoprodutores em nosso blog.
Founder na MemberKit