CUPED simulation

import%20marimo%0A%0A__generated_with%20%3D%20%220.18.4%22%0Aapp%20%3D%20marimo.App(width%3D%22full%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20pandas%20as%20pd%0A%20%20%20%20import%20altair%20as%20alt%0A%20%20%20%20import%20statsmodels.formula.api%20as%20smf%0A%20%20%20%20from%20scipy.stats%20import%20ttest_ind%0A%20%20%20%20return%20alt%2C%20mo%2C%20np%2C%20pd%2C%20smf%2C%20ttest_ind%0A%0A%0A%40app.cell%0Adef%20_(np%2C%20pd)%3A%0A%20%20%20%20%23%20%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%0A%20%20%20%20%23%20SIMULATION%20FUNCTIONS%0A%20%20%20%20%23%20%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%0A%0A%20%20%20%20def%20simulate_correlated_data(%0A%20%20%20%20%20%20%20%20n%3A%20int%2C%20tau%3A%20float%2C%20mean%3A%20list%5Bfloat%5D%2C%20sd%3A%20list%5Bfloat%5D%2C%20rho%3A%20float%0A%20%20%20%20)%20-%3E%20pd.DataFrame%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Generate%20synthetic%20correlated%20data%20for%20a%20single%20A%2FB%20test.%0A%0A%20%20%20%20%20%20%20%20Parameters%0A%20%20%20%20%20%20%20%20----------%0A%20%20%20%20%20%20%20%20n%20%3A%20int%0A%20%20%20%20%20%20%20%20%20%20%20%20Number%20of%20samples%20(must%20be%20even%20for%20balanced%20groups)%0A%20%20%20%20%20%20%20%20tau%20%3A%20float%0A%20%20%20%20%20%20%20%20%20%20%20%20Treatment%20effect%20to%20add%20to%20treated%20units%0A%20%20%20%20%20%20%20%20mean%20%3A%20list%5Bfloat%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%5Bmean_x%2C%20mean_y%5D%20for%20covariate%20and%20outcome%0A%20%20%20%20%20%20%20%20sd%20%3A%20list%5Bfloat%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%5Bsd_x%2C%20sd_y%5D%20for%20standard%20deviations%0A%20%20%20%20%20%20%20%20rho%20%3A%20float%0A%20%20%20%20%20%20%20%20%20%20%20%20Correlation%20coefficient%20between%20x%20and%20y%20(-1%20to%201)%0A%0A%20%20%20%20%20%20%20%20Returns%0A%20%20%20%20%20%20%20%20-------%0A%20%20%20%20%20%20%20%20pd.DataFrame%0A%20%20%20%20%20%20%20%20%20%20%20%20DataFrame%20with%20'y'%20(outcome)%2C%20't'%20(treatment)%2C%20'x'%20(covariate)%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20if%20n%20%25%202%20!%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError(%22Sample%20size%20must%20be%20even%20for%20balanced%20treatment%20groups%22)%0A%20%20%20%20%20%20%20%20if%20not%20(-1%20%3C%3D%20rho%20%3C%3D%201)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError(%22Correlation%20coefficient%20must%20be%20between%20-1%20and%201%22)%0A%0A%20%20%20%20%20%20%20%20sd_x%2C%20sd_y%20%3D%20sd%5B0%5D%2C%20sd%5B1%5D%0A%20%20%20%20%20%20%20%20cov_x_y%20%3D%20rho%20*%20sd_x%20*%20sd_y%0A%20%20%20%20%20%20%20%20cov_matrix%20%3D%20%5B%5Bsd_x**2%2C%20cov_x_y%5D%2C%20%5Bcov_x_y%2C%20sd_y**2%5D%5D%0A%0A%20%20%20%20%20%20%20%20x%2C%20y%20%3D%20np.random.multivariate_normal(mean%2C%20cov_matrix%2C%20n).T%0A%20%20%20%20%20%20%20%20t%20%3D%20np.repeat(%5B0%2C%201%5D%2C%20n%20%2F%2F%202)%0A%20%20%20%20%20%20%20%20np.random.shuffle(t)%0A%20%20%20%20%20%20%20%20y%20%3D%20np.where(t%20%3D%3D%201%2C%20y%20%2B%20tau%2C%20y)%0A%0A%20%20%20%20%20%20%20%20return%20pd.DataFrame(%7B%22y%22%3A%20y%2C%20%22t%22%3A%20t%2C%20%22x%22%3A%20x%7D)%0A%0A%20%20%20%20def%20vectorized_simulate_correlated_data(r%2C%20n%2C%20tau%2C%20mean%2C%20sd%2C%20rho)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Generate%20synthetic%20A%2FB%20test%20data%20for%20multiple%20replications%20simultaneously.%0A%0A%20%20%20%20%20%20%20%20Parameters%0A%20%20%20%20%20%20%20%20----------%0A%20%20%20%20%20%20%20%20r%20%3A%20int%0A%20%20%20%20%20%20%20%20%20%20%20%20Number%20of%20simulation%20replications%0A%20%20%20%20%20%20%20%20n%20%3A%20int%0A%20%20%20%20%20%20%20%20%20%20%20%20Sample%20size%20per%20replication%20(must%20be%20even)%0A%20%20%20%20%20%20%20%20tau%20%3A%20float%0A%20%20%20%20%20%20%20%20%20%20%20%20True%20treatment%20effect%0A%20%20%20%20%20%20%20%20mean%20%3A%20list%5Bfloat%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%5Bmean_x%2C%20mean_y%5D%20for%20distributions%0A%20%20%20%20%20%20%20%20sd%20%3A%20list%5Bfloat%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%5Bsd_x%2C%20sd_y%5D%20for%20standard%20deviations%0A%20%20%20%20%20%20%20%20rho%20%3A%20float%0A%20%20%20%20%20%20%20%20%20%20%20%20Correlation%20coefficient%20between%20x%20and%20y%0A%0A%20%20%20%20%20%20%20%20Returns%0A%20%20%20%20%20%20%20%20-------%0A%20%20%20%20%20%20%20%20tuple%5Bnp.ndarray%2C%20np.ndarray%2C%20np.ndarray%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20x%2C%20y%2C%20t%20arrays%20each%20with%20shape%20(r%2C%20n)%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20if%20n%20%25%202%20!%3D%200%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20raise%20ValueError(%22Sample%20size%20must%20be%20even%20for%20balanced%20treatment%20groups%22)%0A%0A%20%20%20%20%20%20%20%20sd_x%2C%20sd_y%20%3D%20sd%5B0%5D%2C%20sd%5B1%5D%0A%20%20%20%20%20%20%20%20cov_x_y%20%3D%20rho%20*%20sd_x%20*%20sd_y%0A%20%20%20%20%20%20%20%20cov_matrix%20%3D%20%5B%5Bsd_x**2%2C%20cov_x_y%5D%2C%20%5Bcov_x_y%2C%20sd_y**2%5D%5D%0A%0A%20%20%20%20%20%20%20%20data%20%3D%20np.random.multivariate_normal(mean%2C%20cov_matrix%2C%20size%3D(r%2C%20n))%0A%20%20%20%20%20%20%20%20x%20%3D%20data%5B%3A%2C%20%3A%2C%200%5D%0A%20%20%20%20%20%20%20%20y%20%3D%20data%5B%3A%2C%20%3A%2C%201%5D%0A%0A%20%20%20%20%20%20%20%20t_1d%20%3D%20np.repeat(%5B0%2C%201%5D%2C%20n%20%2F%2F%202)%0A%20%20%20%20%20%20%20%20unshuffled_t%20%3D%20np.tile(t_1d%2C%20(r%2C%201))%0A%20%20%20%20%20%20%20%20t%20%3D%20np.apply_along_axis(np.random.permutation%2C%201%2C%20unshuffled_t)%0A%0A%20%20%20%20%20%20%20%20y%20%3D%20np.where(t%20%3D%3D%201%2C%20y%20%2B%20tau%2C%20y)%0A%0A%20%20%20%20%20%20%20%20return%20x%2C%20y%2C%20t%0A%0A%20%20%20%20def%20vectorized_ate(y%2C%20t)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Calculate%20average%20treatment%20effects%20for%20multiple%20replications.%0A%0A%20%20%20%20%20%20%20%20Parameters%0A%20%20%20%20%20%20%20%20----------%0A%20%20%20%20%20%20%20%20y%20%3A%20np.ndarray%0A%20%20%20%20%20%20%20%20%20%20%20%20Outcome%20values%2C%20shape%20(r%2C%20n)%0A%20%20%20%20%20%20%20%20t%20%3A%20np.ndarray%0A%20%20%20%20%20%20%20%20%20%20%20%20Treatment%20assignments%2C%20shape%20(r%2C%20n)%0A%0A%20%20%20%20%20%20%20%20Returns%0A%20%20%20%20%20%20%20%20-------%0A%20%20%20%20%20%20%20%20np.ndarray%0A%20%20%20%20%20%20%20%20%20%20%20%20ATE%20estimates%2C%20shape%20(r%2C)%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20treated_mask%20%3D%20t%20%3D%3D%201%0A%20%20%20%20%20%20%20%20control_mask%20%3D%20t%20%3D%3D%200%0A%0A%20%20%20%20%20%20%20%20treated_means%20%3D%20np.sum(y%20*%20treated_mask%2C%20axis%3D1)%20%2F%20np.sum(treated_mask%2C%20axis%3D1)%0A%20%20%20%20%20%20%20%20control_means%20%3D%20np.sum(y%20*%20control_mask%2C%20axis%3D1)%20%2F%20np.sum(control_mask%2C%20axis%3D1)%0A%0A%20%20%20%20%20%20%20%20return%20treated_means%20-%20control_means%0A%0A%20%20%20%20def%20vectorized_cuped(x%2C%20y)%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Apply%20CUPED%20adjustment%3A%20y_cv%20%3D%20y%20-%20theta%20*%20(x%20-%20x_mean).%0A%0A%20%20%20%20%20%20%20%20Parameters%0A%20%20%20%20%20%20%20%20----------%0A%20%20%20%20%20%20%20%20x%20%3A%20np.ndarray%0A%20%20%20%20%20%20%20%20%20%20%20%20Covariate%20values%2C%20shape%20(r%2C%20n)%0A%20%20%20%20%20%20%20%20y%20%3A%20np.ndarray%0A%20%20%20%20%20%20%20%20%20%20%20%20Outcome%20values%2C%20shape%20(r%2C%20n)%0A%0A%20%20%20%20%20%20%20%20Returns%0A%20%20%20%20%20%20%20%20-------%0A%20%20%20%20%20%20%20%20np.ndarray%0A%20%20%20%20%20%20%20%20%20%20%20%20CUPED-adjusted%20outcomes%2C%20shape%20(r%2C%20n)%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20x_means%20%3D%20np.mean(x%2C%20axis%3D1%2C%20keepdims%3DTrue)%0A%20%20%20%20%20%20%20%20y_means%20%3D%20np.mean(y%2C%20axis%3D1%2C%20keepdims%3DTrue)%0A%20%20%20%20%20%20%20%20n%20%3D%20x.shape%5B1%5D%0A%0A%20%20%20%20%20%20%20%20cov_x_y%20%3D%20np.sum((x%20-%20x_means)%20*%20(y%20-%20y_means)%2C%20axis%3D1)%20%2F%20(n%20-%201)%0A%20%20%20%20%20%20%20%20var_x%20%3D%20np.var(x%2C%20axis%3D1%2C%20ddof%3D1)%0A%20%20%20%20%20%20%20%20theta%20%3D%20cov_x_y%20%2F%20var_x%0A%0A%20%20%20%20%20%20%20%20y_cv%20%3D%20y%20-%20theta%5B%3A%2C%20np.newaxis%5D%20*%20(x%20-%20x_means)%0A%20%20%20%20%20%20%20%20return%20y_cv%0A%0A%20%20%20%20def%20vectorized_replicate_ab_test(r%2C%20n%2C%20tau%2C%20mean%2C%20sd%2C%20rho)%20-%3E%20pd.DataFrame%3A%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20Run%20Monte%20Carlo%20simulation%20comparing%20naive%20vs%20CUPED%20estimators.%0A%0A%20%20%20%20%20%20%20%20Returns%0A%20%20%20%20%20%20%20%20-------%0A%20%20%20%20%20%20%20%20pd.DataFrame%0A%20%20%20%20%20%20%20%20%20%20%20%20DataFrame%20with%20'naive_ate'%20and%20'cuped_ate'%20columns%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20x%2C%20y%2C%20t%20%3D%20vectorized_simulate_correlated_data(r%2C%20n%2C%20tau%2C%20mean%2C%20sd%2C%20rho)%0A%20%20%20%20%20%20%20%20naive_ates%20%3D%20vectorized_ate(y%2C%20t)%0A%20%20%20%20%20%20%20%20y_cv%20%3D%20vectorized_cuped(x%2C%20y)%0A%20%20%20%20%20%20%20%20cuped_ates%20%3D%20vectorized_ate(y_cv%2C%20t)%0A%0A%20%20%20%20%20%20%20%20return%20pd.DataFrame(%7B%22naive_ate%22%3A%20naive_ates%2C%20%22cuped_ate%22%3A%20cuped_ates%7D)%0A%20%20%20%20return%20simulate_correlated_data%2C%20vectorized_replicate_ab_test%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%0A%20%20%20%20%23%20CONTROLS%20PANEL%0A%20%20%20%20%23%20%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%0A%0A%20%20%20%20%23%20Create%20individual%20sliders%0A%20%20%20%20mean_x_slider%20%3D%20mo.ui.slider(-50%2C%2050%2C%20value%3D0%2C%20step%3D5%2C%20show_value%3DTrue)%0A%20%20%20%20mean_y_slider%20%3D%20mo.ui.slider(-50%2C%2050%2C%20value%3D0%2C%20step%3D5%2C%20show_value%3DTrue)%0A%20%20%20%20sd_x_slider%20%3D%20mo.ui.slider(10%2C%20200%2C%20value%3D100%2C%20step%3D10%2C%20show_value%3DTrue)%0A%20%20%20%20sd_y_slider%20%3D%20mo.ui.slider(10%2C%20200%2C%20value%3D100%2C%20step%3D10%2C%20show_value%3DTrue)%0A%20%20%20%20rho_slider%20%3D%20mo.ui.slider(0.0%2C%200.9%2C%20value%3D0.6%2C%20step%3D0.05%2C%20show_value%3DTrue)%0A%20%20%20%20tau_slider%20%3D%20mo.ui.slider(-15.0%2C%2015.0%2C%20value%3D5.0%2C%20step%3D0.5%2C%20show_value%3DTrue)%0A%20%20%20%20n_slider%20%3D%20mo.ui.slider(500%2C%2020000%2C%20value%3D2000%2C%20step%3D500%2C%20show_value%3DTrue)%0A%20%20%20%20r_slider%20%3D%20mo.ui.slider(100%2C%202000%2C%20value%3D500%2C%20step%3D100%2C%20show_value%3DTrue)%0A%0A%20%20%20%20%23%20Build%20controls%20panel%20layout%0A%20%20%20%20controls_panel%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Experiment%20Settings%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(%22**Covariate%20(X)**%22)%2C%0A%20%20%20%20%20%20%20%20mo.hstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5Bmo.md(%22Mean%22)%2C%20mean_x_slider%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5Bmo.md(%22Std%20Dev%22)%2C%20sd_x_slider%5D)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%20gap%3D2)%2C%0A%20%20%20%20%20%20%20%20mo.md(%22**Outcome%20(Y)**%22)%2C%0A%20%20%20%20%20%20%20%20mo.hstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5Bmo.md(%22Mean%22)%2C%20mean_y_slider%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%5Bmo.md(%22Std%20Dev%22)%2C%20sd_y_slider%5D)%2C%0A%20%20%20%20%20%20%20%20%5D%2C%20gap%3D2)%2C%0A%20%20%20%20%20%20%20%20mo.vstack(%5Bmo.md(%22**Correlation%20(X%2C%20Y)**%22)%2C%20rho_slider%5D)%2C%0A%20%20%20%20%20%20%20%20mo.vstack(%5Bmo.md(%22**Treatment%20Effect%20(%CF%84)**%22)%2C%20tau_slider%5D)%2C%0A%20%20%20%20%20%20%20%20mo.md(%22---%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%20Simulation%20Settings%22)%2C%0A%20%20%20%20%20%20%20%20mo.vstack(%5Bmo.md(%22**Sample%20Size%20(n)**%22)%2C%20n_slider%5D)%2C%0A%20%20%20%20%20%20%20%20mo.vstack(%5Bmo.md(%22**Replications%20(r)**%22)%2C%20r_slider%5D)%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20controls_panel%2C%0A%20%20%20%20%20%20%20%20mean_x_slider%2C%0A%20%20%20%20%20%20%20%20mean_y_slider%2C%0A%20%20%20%20%20%20%20%20n_slider%2C%0A%20%20%20%20%20%20%20%20r_slider%2C%0A%20%20%20%20%20%20%20%20rho_slider%2C%0A%20%20%20%20%20%20%20%20sd_x_slider%2C%0A%20%20%20%20%20%20%20%20sd_y_slider%2C%0A%20%20%20%20%20%20%20%20tau_slider%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20mean_x_slider%2C%0A%20%20%20%20mean_y_slider%2C%0A%20%20%20%20n_slider%2C%0A%20%20%20%20r_slider%2C%0A%20%20%20%20rho_slider%2C%0A%20%20%20%20sd_x_slider%2C%0A%20%20%20%20sd_y_slider%2C%0A%20%20%20%20tau_slider%2C%0A)%3A%0A%20%20%20%20%23%20Extract%20slider%20values%20for%20downstream%20cells%0A%20%20%20%20mean_x%20%3D%20mean_x_slider.value%0A%20%20%20%20mean_y%20%3D%20mean_y_slider.value%0A%20%20%20%20sd_x%20%3D%20sd_x_slider.value%0A%20%20%20%20sd_y%20%3D%20sd_y_slider.value%0A%20%20%20%20rho%20%3D%20rho_slider.value%0A%20%20%20%20tau%20%3D%20tau_slider.value%0A%20%20%20%20n%20%3D%20n_slider.value%0A%20%20%20%20r%20%3D%20r_slider.value%0A%0A%20%20%20%20mean%20%3D%20%5Bmean_x%2C%20mean_y%5D%0A%20%20%20%20sd%20%3D%20%5Bsd_x%2C%20sd_y%5D%0A%20%20%20%20return%20mean%2C%20n%2C%20r%2C%20rho%2C%20sd%2C%20tau%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20mean%2C%0A%20%20%20%20n%2C%0A%20%20%20%20np%2C%0A%20%20%20%20r%2C%0A%20%20%20%20rho%2C%0A%20%20%20%20sd%2C%0A%20%20%20%20simulate_correlated_data%2C%0A%20%20%20%20tau%2C%0A%20%20%20%20ttest_ind%2C%0A%20%20%20%20vectorized_replicate_ab_test%2C%0A)%3A%0A%20%20%20%20%23%20%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%0A%20%20%20%20%23%20DATA%20GENERATION%0A%20%20%20%20%23%20%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%0A%0A%20%20%20%20%23%20Set%20seed%20for%20reproducibility%20in%20single%20experiment%0A%20%20%20%20np.random.seed(42)%0A%0A%20%20%20%20%23%20Generate%20single%20experiment%20data%20(used%20by%20Tab%201%20and%20Tab%203)%0A%20%20%20%20single_exp_data%20%3D%20simulate_correlated_data(n%2C%20tau%2C%20mean%2C%20sd%2C%20rho)%0A%0A%20%20%20%20%23%20Compute%20naive%20results%20for%20single%20experiment%0A%20%20%20%20treated%20%3D%20single_exp_data%5Bsingle_exp_data%5B%22t%22%5D%20%3D%3D%201%5D%0A%20%20%20%20control%20%3D%20single_exp_data%5Bsingle_exp_data%5B%22t%22%5D%20%3D%3D%200%5D%0A%20%20%20%20naive_ttest%20%3D%20ttest_ind(treated%5B%22y%22%5D%2C%20control%5B%22y%22%5D%2C%20equal_var%3DTrue)%0A%20%20%20%20naive_effect%20%3D%20np.mean(treated%5B%22y%22%5D)%20-%20np.mean(control%5B%22y%22%5D)%0A%20%20%20%20naive_se%20%3D%20naive_effect%20%2F%20naive_ttest.statistic%0A%20%20%20%20naive_ci_low%20%3D%20naive_effect%20-%201.96%20*%20naive_se%0A%20%20%20%20naive_ci_high%20%3D%20naive_effect%20%2B%201.96%20*%20naive_se%0A%0A%20%20%20%20%23%20Compute%20CUPED%20results%20for%20single%20experiment%0A%20%20%20%20theta%20%3D%20np.cov(single_exp_data%5B%22x%22%5D%2C%20single_exp_data%5B%22y%22%5D%2C%20ddof%3D1)%5B0%2C%201%5D%20%2F%20np.var(%0A%20%20%20%20%20%20%20%20single_exp_data%5B%22x%22%5D%2C%20ddof%3D1%0A%20%20%20%20)%0A%20%20%20%20single_exp_data%5B%22y_cv%22%5D%20%3D%20single_exp_data%5B%22y%22%5D%20-%20theta%20*%20(%0A%20%20%20%20%20%20%20%20single_exp_data%5B%22x%22%5D%20-%20single_exp_data%5B%22x%22%5D.mean()%0A%20%20%20%20)%0A%0A%20%20%20%20treated_cv%20%3D%20single_exp_data%5Bsingle_exp_data%5B%22t%22%5D%20%3D%3D%201%5D%0A%20%20%20%20control_cv%20%3D%20single_exp_data%5Bsingle_exp_data%5B%22t%22%5D%20%3D%3D%200%5D%0A%20%20%20%20cuped_ttest%20%3D%20ttest_ind(treated_cv%5B%22y_cv%22%5D%2C%20control_cv%5B%22y_cv%22%5D%2C%20equal_var%3DTrue)%0A%20%20%20%20cuped_effect%20%3D%20np.mean(treated_cv%5B%22y_cv%22%5D)%20-%20np.mean(control_cv%5B%22y_cv%22%5D)%0A%20%20%20%20cuped_se%20%3D%20cuped_effect%20%2F%20cuped_ttest.statistic%0A%20%20%20%20cuped_ci_low%20%3D%20cuped_effect%20-%201.96%20*%20cuped_se%0A%20%20%20%20cuped_ci_high%20%3D%20cuped_effect%20%2B%201.96%20*%20cuped_se%0A%0A%20%20%20%20%23%20Run%20replicated%20simulation%20for%20Tab%202%0A%20%20%20%20replicated_results%20%3D%20vectorized_replicate_ab_test(r%2C%20n%2C%20tau%2C%20mean%2C%20sd%2C%20rho)%0A%0A%20%20%20%20%23%20Calculate%20variance%20reduction%0A%20%20%20%20naive_sampling_se%20%3D%20replicated_results%5B%22naive_ate%22%5D.std()%0A%20%20%20%20cuped_sampling_se%20%3D%20replicated_results%5B%22cuped_ate%22%5D.std()%0A%20%20%20%20variance_reduction%20%3D%20(%0A%20%20%20%20%20%20%20%20(naive_sampling_se**2%20-%20cuped_sampling_se**2)%20%2F%20naive_sampling_se**2%0A%20%20%20%20)%20*%20100%0A%20%20%20%20return%20(%0A%20%20%20%20%20%20%20%20cuped_ci_high%2C%0A%20%20%20%20%20%20%20%20cuped_ci_low%2C%0A%20%20%20%20%20%20%20%20cuped_effect%2C%0A%20%20%20%20%20%20%20%20cuped_sampling_se%2C%0A%20%20%20%20%20%20%20%20cuped_se%2C%0A%20%20%20%20%20%20%20%20cuped_ttest%2C%0A%20%20%20%20%20%20%20%20naive_ci_high%2C%0A%20%20%20%20%20%20%20%20naive_ci_low%2C%0A%20%20%20%20%20%20%20%20naive_effect%2C%0A%20%20%20%20%20%20%20%20naive_sampling_se%2C%0A%20%20%20%20%20%20%20%20naive_se%2C%0A%20%20%20%20%20%20%20%20naive_ttest%2C%0A%20%20%20%20%20%20%20%20replicated_results%2C%0A%20%20%20%20%20%20%20%20single_exp_data%2C%0A%20%20%20%20%20%20%20%20variance_reduction%2C%0A%20%20%20%20)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20alt%2C%0A%20%20%20%20cuped_ci_high%2C%0A%20%20%20%20cuped_ci_low%2C%0A%20%20%20%20cuped_effect%2C%0A%20%20%20%20cuped_se%2C%0A%20%20%20%20cuped_ttest%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20naive_ci_high%2C%0A%20%20%20%20naive_ci_low%2C%0A%20%20%20%20naive_effect%2C%0A%20%20%20%20naive_se%2C%0A%20%20%20%20naive_ttest%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20tau%2C%0A)%3A%0A%20%20%20%20%23%20%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%0A%20%20%20%20%23%20TAB%201%3A%20SINGLE%20EXPERIMENT%0A%20%20%20%20%23%20%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%0A%0A%20%20%20%20%23%20Extract%20p-values%0A%20%20%20%20naive_pvalue%20%3D%20naive_ttest.pvalue%0A%20%20%20%20cuped_pvalue%20%3D%20cuped_ttest.pvalue%0A%0A%20%20%20%20%23%20Scorecard%20data%0A%20%20%20%20scorecard_html%20%3D%20f%22%22%22%0A%20%20%20%20%3Cdiv%20style%3D%22display%3A%20flex%3B%20gap%3A%202rem%3B%20margin-bottom%3A%201.5rem%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20padding%3A%201rem%3B%20background%3A%20%23f0fdf4%3B%20border-radius%3A%208px%3B%20border-left%3A%204px%20solid%20%2310b981%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%20%2364748b%3B%20font-size%3A%200.875rem%3B%20margin-bottom%3A%200.25rem%3B%22%3ECUPED%20Estimate%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%201.5rem%3B%20font-weight%3A%20600%3B%20color%3A%20%231e293b%3B%22%3E%7Bcuped_effect%3A.3f%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%20%2364748b%3B%20font-size%3A%200.75rem%3B%22%3E95%25%20CI%3A%20%5B%7Bcuped_ci_low%3A.3f%7D%2C%20%7Bcuped_ci_high%3A.3f%7D%5D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%20%2364748b%3B%20font-size%3A%200.75rem%3B%22%3EStd.%20error%3A%20%7Bcuped_se%3A.3f%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%20%2364748b%3B%20font-size%3A%200.75rem%3B%22%3Ep-value%3A%20%7Bcuped_pvalue%3A.4f%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20padding%3A%201rem%3B%20background%3A%20%23f1f5f9%3B%20border-radius%3A%208px%3B%20border-left%3A%204px%20solid%20%236366f1%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%20%2364748b%3B%20font-size%3A%200.875rem%3B%20margin-bottom%3A%200.25rem%3B%22%3ENaive%20Estimate%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%201.5rem%3B%20font-weight%3A%20600%3B%20color%3A%20%231e293b%3B%22%3E%7Bnaive_effect%3A.3f%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%20%2364748b%3B%20font-size%3A%200.75rem%3B%22%3E95%25%20CI%3A%20%5B%7Bnaive_ci_low%3A.3f%7D%2C%20%7Bnaive_ci_high%3A.3f%7D%5D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%20%2364748b%3B%20font-size%3A%200.75rem%3B%22%3EStd.%20error%3A%20%7Bnaive_se%3A.3f%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%20%2364748b%3B%20font-size%3A%200.75rem%3B%22%3Ep-value%3A%20%7Bnaive_pvalue%3A.4f%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22flex%3A%201%3B%20padding%3A%201rem%3B%20background%3A%20%23fafafa%3B%20border-radius%3A%208px%3B%20border-left%3A%204px%20solid%20%231e293b%3B%22%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22color%3A%20%2364748b%3B%20font-size%3A%200.875rem%3B%20margin-bottom%3A%200.25rem%3B%22%3ETrue%20Effect%20(%CF%84)%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%20%20%20%20%3Cdiv%20style%3D%22font-size%3A%201.5rem%3B%20font-weight%3A%20600%3B%20color%3A%20%231e293b%3B%22%3E%7Btau%3A.1f%7D%3C%2Fdiv%3E%0A%20%20%20%20%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%3C%2Fdiv%3E%0A%20%20%20%20%22%22%22%0A%20%20%20%20tab1_scorecard%20%3D%20mo.Html(scorecard_html)%0A%0A%20%20%20%20%23%20Interval%20plot%20data%0A%20%20%20%20interval_data%20%3D%20pd.DataFrame(%7B%0A%20%20%20%20%20%20%20%20%22method%22%3A%20%5B%22Naive%22%2C%20%22CUPED%22%5D%2C%0A%20%20%20%20%20%20%20%20%22effect%22%3A%20%5Bnaive_effect%2C%20cuped_effect%5D%2C%0A%20%20%20%20%20%20%20%20%22ci_low%22%3A%20%5Bnaive_ci_low%2C%20cuped_ci_low%5D%2C%0A%20%20%20%20%20%20%20%20%22ci_high%22%3A%20%5Bnaive_ci_high%2C%20cuped_ci_high%5D%2C%0A%20%20%20%20%7D)%0A%0A%20%20%20%20%23%20Points%0A%20%20%20%20points%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(interval_data)%0A%20%20%20%20%20%20%20%20.mark_circle(size%3D120)%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22method%3AN%22%2C%20title%3D%22Estimation%20Method%22%2C%20axis%3Dalt.Axis(labelFontSize%3D12%2C%20titleFontSize%3D14))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22effect%3AQ%22%2C%20title%3D%22Treatment%20Effect%20Estimate%22%2C%20axis%3Dalt.Axis(labelFontSize%3D12%2C%20titleFontSize%3D14))%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22method%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(domain%3D%5B%22Naive%22%2C%20%22CUPED%22%5D%2C%20range%3D%5B%22%236366f1%22%2C%20%22%2310b981%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Dalt.Legend(title%3D%22Method%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Error%20bars%0A%20%20%20%20error_bars%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(interval_data)%0A%20%20%20%20%20%20%20%20.mark_errorbar()%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3D%22method%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22ci_low%3AQ%22%2C%20title%3D%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y2%3D%22ci_high%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22method%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(domain%3D%5B%22Naive%22%2C%20%22CUPED%22%5D%2C%20range%3D%5B%22%236366f1%22%2C%20%22%2310b981%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3DNone%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20True%20effect%20reference%20line%0A%20%20%20%20true_effect_data%20%3D%20pd.DataFrame(%7B%22label%22%3A%20%5B%22True%20Effect%20(%CF%84)%22%5D%2C%20%22value%22%3A%20%5Btau%5D%7D)%0A%20%20%20%20true_effect_rule%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(true_effect_data)%0A%20%20%20%20%20%20%20%20.mark_rule(strokeDash%3D%5B5%2C%205%5D%2C%20size%3D2)%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3D%22value%3AQ%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22label%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(domain%3D%5B%22True%20Effect%20(%CF%84)%22%5D%2C%20range%3D%5B%22%231e293b%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Dalt.Legend(title%3DNone)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Combine%20into%20final%20chart%0A%20%20%20%20tab1_chart%20%3D%20(%0A%20%20%20%20%20%20%20%20(points%20%2B%20error_bars%20%2B%20true_effect_rule)%0A%20%20%20%20%20%20%20%20.resolve_scale(color%3D%22independent%22)%0A%20%20%20%20%20%20%20%20.properties(%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Single%20Experiment%3A%20Treatment%20Effect%20Estimates%20with%2095%25%20CI%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20width%3D500%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D350%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.configure_title(fontSize%3D16%2C%20anchor%3D%22middle%22)%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20CI%20%25%20width%20reduction%20callout%0A%20%20%20%20naive_width%20%3D%20naive_ci_high%20-%20naive_ci_low%0A%20%20%20%20cuped_width%20%3D%20cuped_ci_high%20-%20cuped_ci_low%0A%20%20%20%20ci_reduction_pct%20%3D%20((naive_width%20-%20cuped_width)%20%2F%20naive_width)%20*%20100%0A%20%20%20%20ci_callout%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20f%22**CI%20Width%20Reduction%3A**%20CUPED%20reduced%20the%2095%25%20confidence%20interval%20width%20by%20**%7Bci_reduction_pct%3A.1f%7D%25**%20(from%20%7Bnaive_width%3A.3f%7D%20to%20%7Bcuped_width%3A.3f%7D).%22%0A%20%20%20%20).callout(kind%3D%22success%22)%0A%0A%20%20%20%20%23%20Tab%201%20content%0A%20%20%20%20tab1_content%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20tab1_scorecard%2C%0A%20%20%20%20%20%20%20%20mo.ui.altair_chart(tab1_chart)%2C%0A%20%20%20%20%20%20%20%20ci_callout%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%20(tab1_content%2C)%0A%0A%0A%40app.cell%0Adef%20_(%0A%20%20%20%20alt%2C%0A%20%20%20%20cuped_sampling_se%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20naive_sampling_se%2C%0A%20%20%20%20pd%2C%0A%20%20%20%20replicated_results%2C%0A%20%20%20%20tau%2C%0A%20%20%20%20variance_reduction%2C%0A)%3A%0A%20%20%20%20%23%20%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%0A%20%20%20%20%23%20TAB%202%3A%20REPLICATED%20POWER%0A%20%20%20%20%23%20%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%0A%0A%20%20%20%20%23%20Melt%20data%20for%20Altair%0A%20%20%20%20melted_results%20%3D%20replicated_results.melt(var_name%3D%22method%22%2C%20value_name%3D%22ate%22)%0A%20%20%20%20melted_results%5B%22method_label%22%5D%20%3D%20melted_results%5B%22method%22%5D.map(%7B%0A%20%20%20%20%20%20%20%20%22naive_ate%22%3A%20%22Naive%22%2C%0A%20%20%20%20%20%20%20%20%22cuped_ate%22%3A%20%22CUPED%22%0A%20%20%20%20%7D)%0A%0A%20%20%20%20%23%20Layered%20histogram%0A%20%20%20%20histogram%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(melted_results)%0A%20%20%20%20%20%20%20%20.mark_bar(opacity%3D0.6)%0A%20%20%20%20%20%20%20%20.encode(%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%22ate%3AQ%22%2C%20bin%3Dalt.Bin(maxbins%3D50)%2C%20title%3D%22Treatment%20Effect%20Estimate%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22count()%3AQ%22%2C%20title%3D%22Frequency%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20color%3Dalt.Color(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22method_label%3AN%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20scale%3Dalt.Scale(domain%3D%5B%22Naive%22%2C%20%22CUPED%22%5D%2C%20range%3D%5B%22%236366f1%22%2C%20%22%2310b981%22%5D)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20legend%3Dalt.Legend(title%3D%22Method%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20True%20effect%20reference%20line%0A%20%20%20%20true_effect_line%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.Chart(pd.DataFrame(%7B%22x%22%3A%20%5Btau%5D%7D))%0A%20%20%20%20%20%20%20%20.mark_rule(color%3D%22%231e293b%22%2C%20strokeDash%3D%5B5%2C%205%5D%2C%20size%3D2)%0A%20%20%20%20%20%20%20%20.encode(x%3D%22x%3AQ%22)%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Combined%20chart%0A%20%20%20%20tab2_chart%20%3D%20(%0A%20%20%20%20%20%20%20%20alt.layer(histogram%2C%20true_effect_line)%0A%20%20%20%20%20%20%20%20.properties(%0A%20%20%20%20%20%20%20%20%20%20%20%20title%3Df%22Sampling%20Distributions%3A%20Naive%20(SE%3D%7Bnaive_sampling_se%3A.3f%7D)%20vs%20CUPED%20(SE%3D%7Bcuped_sampling_se%3A.3f%7D)%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20width%3D700%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20height%3D400%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.configure_title(fontSize%3D16%2C%20anchor%3D%22middle%22)%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Calculate%20time%20savings%20(variance%20reduction%20%3D%20time%20savings%20percentage)%0A%20%20%20%20time_savings_pct%20%3D%20variance_reduction%0A%20%20%20%20%23%20Example%3A%20if%20a%20baseline%20experiment%20takes%2014%20days%0A%20%20%20%20baseline_days%20%3D%2014%0A%20%20%20%20reduced_days%20%3D%20baseline_days%20*%20(1%20-%20time_savings_pct%20%2F%20100)%0A%0A%20%20%20%20%23%20Business%20impact%20callout%0A%20%20%20%20business_callout%20%3D%20mo.md(f%22%22%22%0A%20%20%20%20**Why%20variance%20reduction%20matters%3A**%20On%20average%2C%20you%20could%20have%20cut%20down%20the%20time%20your%20A%2FB%20test%20or%20experiment%20takes%20by%20**%7Btime_savings_pct%3A.1f%7D%25**%20with%20CUPED.%20We%20get%20faster%20decision%20making%20with%20the%20same%20power%20and%20type%201%20error%20rate.%0A%0A%20%20%20%20For%20example%2C%20a%20**%7Bbaseline_days%7D-day%20experiment**%20could%20conclude%20in%20just%20**%7Breduced_days%3A.1f%7D%20days**.%0A%20%20%20%20%22%22%22).callout(kind%3D%22success%22)%0A%0A%20%20%20%20%23%20Explanation%20of%20time%20savings%20calculation%0A%20%20%20%20time_explanation%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20%20%20%20%20**How%20is%20time%20savings%20calculated%3F**%0A%0A%20%20%20%20%20%20%20%20The%20variance%20reduction%20was%20%7Btime_savings_pct%3A.1f%7D%25.%0A%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r'''%0A%20%20%20%20%20%20%20%20The%20sample%20size%20of%20each%20group%20n%20is%20proportional%20to%20the%20variance%20of%20our%20outcome%20metric%20Y.%20In%20math%2C%20this%20is%3A%0A%0A%20%20%20%20%20%20%20%20%5C%5B%0A%20%20%20%20%20%20%20%20n%20%5Cpropto%20Var(Y)%0A%20%20%20%20%20%20%20%20%5C%5D%0A%0A%20%20%20%20%20%20%20%20But%20after%20applying%20CUPED%2C%20we%20are%20working%20with%20the%20covariate%20adjusted%20outcome%20%24Y_%7Bcv%7D%24%0A%0A%20%20%20%20%20%20%20%20%5C%5B%0A%20%20%20%20%20%20%20%20n%20%5Cpropto%20Var(Y_%7Bcv%7D)%0A%20%20%20%20%20%20%20%20%5C%5D%0A%20%20%20%20%20%20%20%20''')%2C%0A%20%20%20%20%20%20%20%20mo.md(f%22%22%22%0A%20%20%20%20%20%20%20%20%20Remember%2C%20the%20variance%20of%20the%20covariate%20adjusted%20outcome%20is%20%7Btime_savings_pct%3A.1f%7D%25%20smaller%20than%20the%20original%20outcome.%20That%20means%20our%20required%20sample%20size%20will%20also%20be%20%20%7Btime_savings_pct%3A.1f%7D%25%20smaller.%20This%20also%20means%20the%20time%20we%20need%20to%20wait%20for%20the%20experiment%20to%20run%20is%20reduced%20by%20%7Btime_savings_pct%3A.1f%7D%25%20because%20we%20need%20less%20samples%20to%20achieve%20the%20same%20power%20and%20type%201%20error%20rate.%0A%20%20%20%20%20%20%20%20%22%22%22)%0A%20%20%20%20%5D)%0A%0A%20%20%20%20%23%20Tab%202%20content%0A%20%20%20%20tab2_content%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.ui.altair_chart(tab2_chart)%2C%0A%20%20%20%20%20%20%20%20business_callout%2C%0A%20%20%20%20%20%20%20%20time_explanation%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%20(tab2_content%2C)%0A%0A%0A%40app.cell%0Adef%20_(cuped_effect%2C%20cuped_se%2C%20cuped_ttest%2C%20mo%2C%20pd%2C%20single_exp_data%2C%20smf)%3A%0A%20%20%20%20%23%20%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%0A%20%20%20%20%23%20TAB%203%3A%20TECHNICAL%20DEEP%20DIVE%20(LIN%20ESTIMATOR)%0A%20%20%20%20%23%20%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%0A%0A%20%20%20%20%23%20Center%20the%20covariate%0A%20%20%20%20lin_data%20%3D%20single_exp_data.copy()%0A%20%20%20%20lin_data%5B%22x_centered%22%5D%20%3D%20lin_data%5B%22x%22%5D%20-%20lin_data%5B%22x%22%5D.mean()%0A%0A%20%20%20%20%23%20Run%20OLS%20with%20interaction%20term%3A%20y%20~%20t%20*%20x_centered%0A%20%20%20%20lin_model%20%3D%20smf.ols(%22y%20~%20t%20*%20x_centered%22%2C%20data%3Dlin_data).fit()%0A%20%20%20%20lin_estimate%20%3D%20lin_model.params%5B%22t%22%5D%0A%20%20%20%20lin_se%20%3D%20lin_model.bse%5B%22t%22%5D%0A%20%20%20%20lin_pvalue%20%3D%20lin_model.pvalues%5B%22t%22%5D%0A%0A%20%20%20%20%23%20Get%20CUPED%20p-value%20from%20ttest%0A%20%20%20%20_cuped_pvalue%20%3D%20cuped_ttest.pvalue%0A%0A%20%20%20%20%23%20Comparison%20table%0A%20%20%20%20comparison_data%20%3D%20pd.DataFrame(%7B%0A%20%20%20%20%20%20%20%20%22Estimator%22%3A%20%5B%22CUPED%22%2C%20%22Lin%20Regression%22%5D%2C%0A%20%20%20%20%20%20%20%20%22Point%20Estimate%22%3A%20%5Bf%22%7Bcuped_effect%3A.4f%7D%22%2C%20f%22%7Blin_estimate%3A.4f%7D%22%5D%2C%0A%20%20%20%20%20%20%20%20%22Standard%20Error%22%3A%20%5Bf%22%7Bcuped_se%3A.4f%7D%22%2C%20f%22%7Blin_se%3A.4f%7D%22%5D%2C%0A%20%20%20%20%20%20%20%20%22P-Value%22%3A%20%5Bf%22%7B_cuped_pvalue%3A.4f%7D%22%2C%20f%22%7Blin_pvalue%3A.4f%7D%22%5D%2C%0A%20%20%20%20%7D)%0A%20%20%20%20comparison_table%20%3D%20mo.ui.table(comparison_data%2C%20selection%3DNone)%0A%0A%20%20%20%20%23%20Explanation%0A%20%20%20%20lin_explanation%20%3D%20mo.md(%22%22%22%0A%20%20%20%20%23%23%23%20Lin%20Estimator%20(Regression%20Adjustment)%0A%0A%20%20%20%20The%20results%20from%20CUPED%20can%20also%20be%20achieved%20through%20regression.%20The%20Lin%20estimator%20(Lin%2C%202013)%20adjusts%20for%20covariates%20using%20OLS%20regression%20with%20an%20interaction%20term%3A%0A%0A%20%20%20%20%60%60%60%0A%20%20%20%20y%20~%20treatment%20%2B%20x_centered%20%2B%20treatment%20*%20x_centered%0A%20%20%20%20%60%60%60%0A%0A%20%20%20%20**CUPED%20is%20asymptotically%20equivalent%20to%20the%20Lin%20estimator.**%20Both%20methods%3A%0A%20%20%20%20-%20Reduce%20variance%20by%20leveraging%20pre-experiment%20covariate%20information%0A%20%20%20%20-%20Produce%20unbiased%20estimates%20of%20the%20average%20treatment%20effect%0A%20%20%20%20-%20Achieve%20the%20same%20variance%20reduction%20in%20large%20samples%0A%0A%20%20%20%20The%20coefficient%20on%20the%20%60treatment%60%20term%20in%20the%20Lin%20regression%20should%20closely%20match%20the%20CUPED%20estimate%20shown%20above.%0A%0A%20%20%20%20Reference%3A%20Lin%2C%20W.%20(2013).%20%22Agnostic%20notes%20on%20regression%20adjustments%20to%20experimental%20data%3A%20Reexamining%20Freedman's%20critique.%22%20*The%20Annals%20of%20Applied%20Statistics*.%0A%20%20%20%20%22%22%22)%0A%0A%20%20%20%20%23%20Tab%203%20content%0A%20%20%20%20tab3_content%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Comparison%3A%20CUPED%20vs%20Lin%20Estimator%22)%2C%0A%20%20%20%20%20%20%20%20comparison_table%2C%0A%20%20%20%20%20%20%20%20lin_explanation%2C%0A%20%20%20%20%5D)%0A%20%20%20%20return%20(tab3_content%2C)%0A%0A%0A%40app.cell%0Adef%20_(mo)%3A%0A%20%20%20%20%23%20%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%0A%20%20%20%20%23%20GLOSSARY%20(COLLAPSIBLE%20ACCORDION)%0A%20%20%20%20%23%20%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%0A%0A%20%20%20%20glossary%20%3D%20mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%22Standard%20Error%20(SE)%22%3A%20mo.md(%22%22%22%0A%20%20%20%20The%20standard%20error%20measures%20the%20standard%20deviation%20of%20an%20estimate.%20A%20smaller%20SE%20means%20the%20estimate%20is%20more%20precise%20and%20reliable.%20In%20A%2FB%20testing%2C%20lower%20SE%20means%20faster%20experiments.%0A%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%22Covariate%22%3A%20mo.md(%22%22%22%0A%20%20%20%20A%20covariate%20is%20a%20variable%20that%20we%20have%20data%20for%2C%20but%20are%20not%20primarily%20interested%20in.%20In%20CUPED%2C%20we%20use%20pre-experiment%20data%20(like%20last%20week's%20metrics)%20as%20a%20covariate.%20This%20data%20was%20tracked%2C%20but%20we%20are%20primarily%20interested%20in%20the%20treatment%20and%20outcome%20variable.%0A%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%22CUPED%20(Controlled-experiment%20Using%20Pre-Experiment%20Data)%22%3A%20mo.md(%22%22%22%0A%20%20%20%20CUPED%20is%20a%20variance%20reduction%20technique%20developed%20at%20Microsoft.%20It%20adjusts%20the%20outcome%20variable%20using%20pre-experiment%20covariates%20to%20produce%20more%20precise%20treatment%20effect%20estimates%20without%20increasing%20sample%20size.%0A%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%22Variance%20Reduction%22%3A%20mo.md(%22%22%22%0A%20%20%20%20Variance%20reduction%20refers%20to%20techniques%20that%20make%20estimates%20more%20precise.%20With%20CUPED%2C%20we%20can%20achieve%20the%20same%20statistical%20power%20with%20fewer%20samples%2C%20leading%20to%20faster%20experiments.%20Visually%2C%20reducing%20variance%20makes%20confidence%20intervals%20narrower.%0A%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%22Lin%20Estimator%22%3A%20mo.md(%22%22%22%0A%20%20%20%20The%20Lin%20estimator%20is%20a%20regression-based%20approach%20to%20covariate%20adjustment%20proposed%20by%20Winston%20Lin%20in%202013.%20It%20is%20asymptotically%20equivalent%20to%20CUPED%20and%20provides%20theoretical%20justification%20for%20the%20method.%0A%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%7D)%0A%20%20%20%20return%20(glossary%2C)%0A%0A%0A%40app.cell%0Adef%20_(controls_panel%2C%20glossary%2C%20mo%2C%20tab1_content%2C%20tab2_content%2C%20tab3_content)%3A%0A%20%20%20%20%23%20%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%0A%20%20%20%20%23%20MAIN%20LAYOUT%0A%20%20%20%20%23%20%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%3D%0A%0A%20%20%20%20%23%20Header%0A%20%20%20%20header%20%3D%20mo.md(%22%22%22%0A%20%20%20%20%23%20CUPED%20Experimentation%20Simulator%0A%0A%20%20%20%20**CUPED**%20(Controlled-experiment%20Using%20Pre-Experiment%20Data)%20is%20a%20variance%20reduction%20technique%20that%20makes%20A%2FB%20tests%20faster%20and%20more%20sensitive.%20By%20adjusting%20for%20pre-experiment%20covariates%2C%20CUPED%20can%20detect%20the%20same%20treatment%20effects%20with%20fewer%20samples%20or%20find%20smaller%20effects%20with%20the%20same%20sample%20size.%20The%20more%20correlated%20the%20pre-experiment%20data%20is%20with%20the%20outcome%20metric%2C%20the%20more%20the%20variance%20will%20be%20reduced!%0A%20%20%20%20%22%22%22)%0A%0A%20%20%20%20%23%20Result%20tabs%20(without%20Technical%20Deep%20Dive)%0A%20%20%20%20result_tabs%20%3D%20mo.ui.tabs(%7B%0A%20%20%20%20%20%20%20%20%22Single%20Experiment%22%3A%20tab1_content%2C%0A%20%20%20%20%20%20%20%20%22Replicated%20Results%22%3A%20tab2_content%2C%0A%20%20%20%20%7D)%0A%0A%20%20%20%20%23%20Practical%20Considerations%20accordion%0A%20%20%20%20practical_considerations%20%3D%20mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%22Practical%20Considerations%22%3A%20mo.md(%22%22%22%0A%20%20%20%20**Choosing%20a%20good%20covariate%3A**%0A%0A%20%20%20%20The%20pre-experiment%20value%20of%20the%20outcome%20metric%20is%20usually%20an%20excellent%20covariate%20for%20CUPED.%20For%20example%2C%20if%20you're%20measuring%20revenue%20per%20user%2C%20using%20each%20user's%20revenue%20from%20the%20week%20before%20the%20experiment%20started%20tends%20to%20be%20highly%20correlated%20with%20their%20revenue%20during%20the%20experiment.%0A%0A%20%20%20%20Reference%3A%20Kohavi%2C%20Ron%20%26%20Deng%2C%20Alex%20%26%20Xu%2C%20Ya%20%26%20Walker%2C%20Toby.%20(2013).%20Improving%20the%20Sensitivity%20of%20Online%20Controlled%20Experiments%20by%20Utilizing%20Pre-Experiment%20Data.%2010.1145%2F2433396.2433413.%20%0A%0A%20%20%20%20**Avoiding%20bias%3A**%0A%0A%20%20%20%20Be%20careful%20not%20to%20use%20covariates%20that%20could%20be%20affected%20by%20the%20treatment.%20The%20covariate%20must%20be%20measured%20*before*%20treatment%20assignment%20or%20be%20otherwise%20unaffected%20by%20it.%20Using%20a%20post-treatment%20variable%20as%20a%20covariate%20introduces%20bias%20in%20the%20causal%20estimate.%20%0A%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%7D)%0A%0A%20%20%20%20%23%20Advanced%20Info%20dropdown%20(contains%20Technical%20Deep%20Dive%20content)%0A%20%20%20%20advanced_info%20%3D%20mo.accordion(%7B%0A%20%20%20%20%20%20%20%20%22Advanced%20Info%22%3A%20tab3_content%2C%0A%20%20%20%20%7D)%0A%0A%20%20%20%20%23%20Right%20side%20content%20(tabs%20only)%0A%20%20%20%20right_content%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20result_tabs%2C%0A%20%20%20%20%5D)%0A%0A%20%20%20%20%23%20Main%20layout%3A%20controls%20on%20left%2C%20content%20on%20right%2C%20then%20practical%20considerations%2C%20advanced%20info%2C%20and%20glossary%20full-width%0A%20%20%20%20main_content%20%3D%20mo.vstack(%5B%0A%20%20%20%20%20%20%20%20header%2C%0A%20%20%20%20%20%20%20%20mo.hstack(%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20controls_panel%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20right_content%2C%0A%20%20%20%20%20%20%20%20%5D%2C%20gap%3D4%2C%20align%3D%22start%22)%2C%0A%20%20%20%20%20%20%20%20mo.md(%22---%22)%2C%0A%20%20%20%20%20%20%20%20practical_considerations%2C%0A%20%20%20%20%20%20%20%20advanced_info%2C%0A%20%20%20%20%20%20%20%20mo.md(%22%23%23%23%20Glossary%22)%2C%0A%20%20%20%20%20%20%20%20glossary%2C%0A%20%20%20%20%5D)%0A%0A%20%20%20%20main_content%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A